Watch and Learn apprend aux VLM à apprendre d'exemples visuels

L'article, déposé le 22 octobre, part d'un constat : un modèle vision-langage s'appuie sur des raccourcis textuels et sous-exploite les images de démonstration. Les auteurs construisent MIME, un jeu d'entraînement où la consigne ne dit pas la règle qui relie les images à la réponse, de sorte que le modèle doit la déduire. Selon le résumé, un réglage fin sur MIME gagne 8,1 à 18,0 points de précision sur trois modèles sans nuire aux tâches à une image, et Qwen3-VL-8B ainsi entraîné égale des modèles de pointe dont Claude Opus 5 sur TrueMICL. Leur variante DTAD, qui masque au hasard les étiquettes des démonstrations, les dépasse. Mesures des auteurs ; je n'ai lu que le résumé.