Le même modèle change de score selon le harnais qui l'exécute
Onze chercheurs publient ReFigBench, un banc d'essai bâti sur mille figures scientifiques tirées d'arXiv avec leur provenance : l'agent doit les reconstruire en diapositives PowerPoint modifiables, en préservant le texte, la topologie, la mise en page et la structure native du document. Dix configurations sont comparées, sur quatre familles de modèles — GPT, Claude, MiMo et MiniMax — et deux méthodes, la génération de code directe et un enchaînement spécialisé. La notation combine des vérifications déterministes sur l'artefact, des juges automatiques de deux familles de modèles et des comparaisons humaines en aveugle.
Le résultat qui déborde le banc d'essai tient au harnais. Le modèle le mieux classé a été exécuté sous deux harnais commerciaux : l'enchaînement spécialisé le fait progresser dans l'un et régresser dans l'autre. À invite identique, le harnais change le score.
Les auteurs relèvent un second paradoxe : l'enchaînement spécialisé supprime les connecteurs natifs dans toutes les configurations — il échoue donc sur la modifiabilité même que le banc d'essai demande — et les juges humains préfèrent pourtant ses rendus dans la plupart des comparaisons. La perception reste, écrivent-ils, le principal goulet d'étranglement.
Elvis Saravia, qui dirige DAIR.AI, en tire la leçon générale : « les harnais jouent un rôle énorme dans ce que vous obtenez des modèles ».