Epoch audite quinze bancs d'essai, neuf sont défectueux
Epoch AI, qui mesure les modèles sans en vendre, ouvre un programme d'audit des bancs d'essai. Premier lot de quinze : quatre vérifiés, neuf défectueux, deux sur lesquels l'information manque. Un banc est déclaré défectueux quand au moins 20 % d'un échantillon inspecté porte des erreurs, ou qu'un seul défaut fausse la notation à grande échelle.
Les relevés sont sévères. Sur Terminal Bench 4.0, 30 tâches sur 66 portent des défauts de notation — correcteurs exploitables, fuites de réponse, solutions justes rejetées. Sur HLE, 46 % des questions échantillonnées sont fautives. Sur DeepSWE v1.1, un seul bogue fausse la notation de toutes les tâches à la fois : il jette les modifications que l'agent apporte aux fichiers de test, sans l'en avertir.
Dimitris Papailiopoulos, chercheur chez Microsoft et professeur en disponibilité à l'université du Wisconsin, déclare d'abord son conflit — il apprécie l'équipe de Terminal Bench — puis pose une distinction : « "30 tâches sur 66 ont des problèmes de notation" n'est pas la même chose que "45 % des résultats de TB4 sont faux". Qu'un correcteur soit exploitable ne dit pas à quelle fréquence il l'a été. » Il tient les défauts relevés pour réels et à corriger.