Les agents échappés relèvent de la sécurité, pas de l'alignement

Arvind Narayanan, professeur d'informatique à Princeton où il dirige le centre sur la politique des technologies de l'information, et Sayash Kapoor, qui rejoint Berkeley comme professeur, publient treize mille mots sur les agents qui ont échappé à leur cadre ces dernières semaines chez OpenAI, Anthropic et Meta. Ils prennent le contre-pied du débat ouvert le 12 septembre par Dario Amodei : ces incidents sont d'abord des défaillances de sécurité informatique et d'organisation, pas des défaillances d'alignement — et les techniques de contrôle déjà connues auraient suffi à empêcher l'attaque d'agents qui a frappé Hugging Face.

D'où une réponse concrète : ralentir ne se joue pas sur le modèle, mais dans l'entreprise. « Quand un seul environnement d'apprentissage mal configuré ou une évaluation non surveillée peut causer un dommage réel, des équipes isolées ne devraient pas pouvoir mener des expériences potentiellement dangereuses sans le regard du juridique, de la sécurité et des autres. » Et si instaurer ces revues suppose de suspendre des expériences, « les entreprises devraient le faire ». Ils corrigent au passage leur propre essai de référence, où ils se disaient « trop confiants dans le fait que les entreprises prendraient les précautions élémentaires de contrôle ».