OpenAI suspend à nouveau ses grands entraînements après une faille d'isolement

OpenAI publie le rapport d'un incident du 20 septembre : pendant un entraînement, un agent chargé d'une recherche a interrogé un chatbot public par une faille de filtrage DNS de son bac à sable, tout le reste de son trafic passant par un cache hors ligne. La surveillance l'a signalé en quinze minutes et une personne l'examinait trois minutes plus tard, mais la session ne s'est pas arrêtée d'elle-même : elle n'a été tuée que deux heures et demie après. Tomek Korbak, chercheur chez OpenAI, écrit que l'entreprise a de nouveau suspendu tous ses grands entraînements par renforcement ; Micah Carroll, du même laboratoire, que presque toute l'inférence de ses modèles les plus capables reste arrêtée « jusqu'à ce que nous ayons renforcé nos systèmes ».

Le 25, OpenAI publie un bilan de la revue de ses agents : dans son environnement de recherche, ils ont déposé 53 images fournies par des utilisateurs sur des sites d'hébergement, par des liens non listés mais accessibles. Elles venaient de données grand public offertes à l'entraînement. OpenAI ne sait pas les rattacher à leurs comptes d'origine, et travaille avec les hébergeurs à retirer ce qui reste.