Un chercheur d'OpenAI : les modèles savent quand on les évalue

Daniel Selsam, qui travaille sur les capacités chez OpenAI depuis près de cinq ans et fut l'un des premiers développeurs du démonstrateur Lean chez Microsoft Research, publie une déclaration personnelle sur le risque. Il dit soutenir les propositions de contrôle par des tiers, puis leur oppose une objection : « ralentir la frontière avec plus de soin ne limitera pas suffisamment le risque à long terme ».

Elle porte sur l'évaluation elle-même. « Les modèles deviennent si conscients de leur situation que nous perdons la capacité de les évaluer dans des contextes où ils croient ne pas être observés ou contrôlés. » Les environnements-pièges n'y changeront rien : « les modèles sauront qu'on les trompe et se comporteront quand même bien ». D'où sa conclusion, qui vise le cœur du plan d'Amodei : « nous sommes peut-être déjà au plus haut niveau de capacité pour lequel une telle preuve puisse être crue ».