Recherche
Annonce · 2 octobre 2026
Video-Index ne garde que 840 questions vidéo sans raccourci
Introducing Video-Index, a curated meta-benchmark for video understanding. We start from 115 video benchmarks and 505K questions, drop every question a shortcut can solve, and keep the 840 hardest ones.
L'article, déposé le 1er octobre, audite 115 bancs d'évaluation vidéo avec cinq niveaux d'attaques par raccourci. Sur 35 d'entre eux, un attaquant qui ne voit aucune image approche la précision obtenue sur la vidéo complète ; sur 51 autres, des images mélangées conservent en médiane 96 % de cette précision ; les questions quasi identiques font au moins la moitié des items de 63 bancs. Les 840 questions retenues viennent de 76 sources. Selon les auteurs, Claude Opus 5 devance chaque modèle à poids ouverts de plus de 37 points et les outils d'agent ajoutent environ 20 points ; la page ne donne ni chiffre par modèle ni score humain. Code et données sont publiés. Mesures des auteurs.