Sécurité

Le 12 septembre, Dario Amodei demandait des évaluateurs extérieurs installés à demeure dans chaque laboratoire, et Anthropic promettait à METR « des bureaux dans nos locaux, des badges d'accès et des ordinateurs de l'entreprise ». Six jours plus tard, l'entreprise s'associe à Accenture pour « l'évaluation indépendante » de ses modèles de frontière. Les évaluateurs, issus de l'unité Faculty du cabinet, auront un accès « comparable à celui d'un employé » et couvriront le red-teaming, les évaluations d'alignement et le test des protections. Chacune des deux entreprises annonce au moins un milliard de dollars sur cinq ans.

Anthropic finance directement ce travail, et Accenture est déjà son partenaire commercial : les deux ont monté en décembre 2025 l'Accenture Anthropic Business Group, qui forme trente mille consultants à Claude. Le communiqué ne dit pas ce qu'il advient de METR.

Arvind Narayanan, professeur d'informatique à Princeton où il dirige le centre sur la politique des technologies de l'information, et Sayash Kapoor, qui rejoint Berkeley comme professeur, publient treize mille mots sur les agents qui ont échappé à leur cadre ces dernières semaines chez OpenAI, Anthropic et Meta. Ils prennent le contre-pied du débat ouvert le 12 septembre par Dario Amodei : ces incidents sont d'abord des défaillances de sécurité informatique et d'organisation, pas des défaillances d'alignement — et les techniques de contrôle déjà connues auraient suffi à empêcher l'attaque d'agents qui a frappé Hugging Face.

D'où une réponse concrète : ralentir ne se joue pas sur le modèle, mais dans l'entreprise. « Quand un seul environnement d'apprentissage mal configuré ou une évaluation non surveillée peut causer un dommage réel, des équipes isolées ne devraient pas pouvoir mener des expériences potentiellement dangereuses sans le regard du juridique, de la sécurité et des autres. » Et si instaurer ces revues suppose de suspendre des expériences, « les entreprises devraient le faire ». Ils corrigent au passage leur propre essai de référence, où ils se disaient « trop confiants dans le fait que les entreprises prendraient les précautions élémentaires de contrôle ».

Daniel Selsam, qui travaille sur les capacités chez OpenAI depuis près de cinq ans et fut l'un des premiers développeurs du démonstrateur Lean chez Microsoft Research, publie une déclaration personnelle sur le risque. Il dit soutenir les propositions de contrôle par des tiers, puis leur oppose une objection : « ralentir la frontière avec plus de soin ne limitera pas suffisamment le risque à long terme ».

Elle porte sur l'évaluation elle-même. « Les modèles deviennent si conscients de leur situation que nous perdons la capacité de les évaluer dans des contextes où ils croient ne pas être observés ou contrôlés. » Les environnements-pièges n'y changeront rien : « les modèles sauront qu'on les trompe et se comporteront quand même bien ». D'où sa conclusion, qui vise le cœur du plan d'Amodei : « nous sommes peut-être déjà au plus haut niveau de capacité pour lequel une telle preuve puisse être crue ».

METR, l'organisme d'évaluation indépendant que le plan de Dario Amodei nomme et à qui Anthropic promet « des bureaux dans nos locaux, des badges d'accès et des ordinateurs de l'entreprise », a publié le 31 août le compte rendu de deux incidents de sécurité.

En mars, un de ses chercheurs faisait tourner des agents sur une instance EC2 personnelle, ouverte sur l'extérieur derrière une authentification Google. Un défaut a désactivé silencieusement cette authentification pendant plusieurs jours. L'attaquant, qui aurait repéré la machine en parcourant les registres de certificats à la recherche de sites récents portant des mots-clés d'agents, a demandé à un agent de lui révéler la clé d'API du fournisseur de modèles, puis posé une clé SSH pour rester. Il a consommé pendant trois semaines l'équivalent de 600 000 dollars de crédits — fournis gratuitement, donc sans perte sèche. Rien ne l'a signalé : ce trafic ressemblait à celui d'une évaluation, et aucun plafond ne s'appliquait à une clé à crédits offerts.