Un banc d'essai pour Jev, où le prix décide du classement
Quatre jours après la sortie de Jev, Florian S, qui tient Benchmark Heaven, publie JevBench — « le premier banc d'essai des modèles de classe Jev ». Le score compose quatre axes à poids égaux — intelligence, calibration, vitesse, coût — par moyenne géométrique, de sorte qu'un axe faible tire tout le reste vers le bas.
L'effet tient dans une ligne : GPT-5.6 Luna devance Jev 1.13.0 sur l'intelligence (96,8 contre 90,4) et sur la calibration (89,8 contre 82,7), et finit douzième, parce que mille décisions lui coûtent 0,247 dollar contre 0,041 à Jev. En annonçant ses résultats, l'auteur donnait Jev en tête à 75,3 devant SemIf à 74,6, une reconstruction ouverte bâtie sur Qwen3.5-4B par Theodore Lee. La page porte aujourd'hui un autre nom au sommet : classifier.dev, à 84,8.
Rohan Paul pose la limite que le classement ne dit pas : « C'est une preuve portant sur une charge de travail étroite, la décision typée — pas la preuve que Jev est globalement plus capable que GPT-5.6 Luna. »
Merve Noyan, de Hugging Face, conteste la nouveauté même de la classe : « ceux qui comparent Jev à GPT-5.6 n'ont jamais réajusté un BERT de leur vie, et ça se voit. » Les classifieurs sans exemples l'ont toujours fascinée, dit-elle, et « beaucoup de problèmes qu'on a résolus avec des grands modèles auraient pu l'être avec eux ».
Sur le même sujet : Microsoft publie Decision-1, un modèle de décision bâti sur Qwen, OpenAI ouvre une API de décisions, le terrain de Jev, Un essaim d'agents entraîne en un week-end le meilleur Jev ouvert.