Un sujet qui dure

Anthropic annonce avoir commencé à donner un accès « de salarié » à une équipe de METR, organisation à but non lucratif qui évalue les modèles de pointe : six employés, avec ordinateurs de l'entreprise, bureaux et accès aux outils internes à peu près équivalents à ceux de ses équipes d'évaluation des risques. Quelques catégories restent exclues, dont les données clients et les architectures des modèles. METR publiera son analyse ; Anthropic ne peut pas s'y opposer, mais peut exiger le retrait d'informations relevant de catégories prédéfinies, dont elle juge seule, METR se réservant de dire quel accès elle a eu.

SecureBio relit le chapitre sur les armes chimiques et biologiques du rapport de risques d'août, avec un accès plus limité ; Accenture et Faculty préparent un partenariat. Le 12 septembre, Dario Amodei avait promis des évaluateurs extérieurs installés à demeure, METR nommée.

Anthropic publie Claude Opus 5.5, « le premier modèle de notre nouvelle famille Claude 5.5 ». L'annonce est sobre : il « se situe au niveau de Claude Fable 5.1 pour la plupart des tâches, et coûte 40 % moins cher à faire tourner qu'Opus 5 ».

La mesure extérieure est plus haute que l'annonce. Artificial Analysis le place en tête de son indice d'intelligence à 58 points, cinq de plus que les meilleurs précédents — Fable 5.1 et GPT-6 Astra, à 53 : le plus grand écart mesuré jusqu'ici en haut du classement. Il mène six des dix évaluations du noyau, dont Humanity's Last Exam à 61,4 % et SciCode à 66,9 %. Les deux chiffres de prix ne portent pas sur la même chose : 20 % de baisse au jeton selon Artificial Analysis, 40 % sur le coût d'exécution selon l'entreprise.

Le 12 septembre, Dario Amodei demandait des évaluateurs extérieurs installés à demeure dans chaque laboratoire, et Anthropic promettait à METR « des bureaux dans nos locaux, des badges d'accès et des ordinateurs de l'entreprise ». Six jours plus tard, l'entreprise s'associe à Accenture pour « l'évaluation indépendante » de ses modèles de frontière. Les évaluateurs, issus de l'unité Faculty du cabinet, auront un accès « comparable à celui d'un employé » et couvriront le red-teaming, les évaluations d'alignement et le test des protections. Chacune des deux entreprises annonce au moins un milliard de dollars sur cinq ans.

Anthropic finance directement ce travail, et Accenture est déjà son partenaire commercial : les deux ont monté en décembre 2025 l'Accenture Anthropic Business Group, qui forme trente mille consultants à Claude. Le communiqué ne dit pas ce qu'il advient de METR.

Mark Zuckerberg prend position contre le ralentissement coordonné : « chaque laboratoire a la responsabilité et l'intérêt d'avancer au rythme qu'exige un entraînement sûr, et le pouvoir d'agir seul pour que ce soit le cas. » Son argument est d'incitation, pas de règle — « la confiance et l'alignement deviennent vite les capacités les plus importantes pour différencier les agents et les modèles. Tout laboratoire qui néglige l'alignement prendra du retard. »

Il oppose au plan du 12 septembre un engagement unilatéral, et celui-là se vérifierait : « consacrer la majorité significative du calcul à servir les gens plutôt qu'à courir vers l'auto-amélioration récursive est l'un des meilleurs moyens de développer cette technologie en sûreté. Meta a pris cet engagement, et les autres laboratoires peuvent le prendre aussi. » Même réponse sur les évaluateurs extérieurs, le cœur de la proposition d'Anthropic : Meta en emploie déjà, et « les autres laboratoires n'ont qu'à faire pareil ».

Arvind Narayanan, professeur d'informatique à Princeton où il dirige le centre sur la politique des technologies de l'information, et Sayash Kapoor, qui rejoint Berkeley comme professeur, publient treize mille mots sur les agents qui ont échappé à leur cadre ces dernières semaines chez OpenAI, Anthropic et Meta. Ils prennent le contre-pied du débat ouvert le 12 septembre par Dario Amodei : ces incidents sont d'abord des défaillances de sécurité informatique et d'organisation, pas des défaillances d'alignement — et les techniques de contrôle déjà connues auraient suffi à empêcher l'attaque d'agents qui a frappé Hugging Face.

D'où une réponse concrète : ralentir ne se joue pas sur le modèle, mais dans l'entreprise. « Quand un seul environnement d'apprentissage mal configuré ou une évaluation non surveillée peut causer un dommage réel, des équipes isolées ne devraient pas pouvoir mener des expériences potentiellement dangereuses sans le regard du juridique, de la sécurité et des autres. » Et si instaurer ces revues suppose de suspendre des expériences, « les entreprises devraient le faire ». Ils corrigent au passage leur propre essai de référence, où ils se disaient « trop confiants dans le fait que les entreprises prendraient les précautions élémentaires de contrôle ».

Oleg Mürk, chercheur chez OpenAI pendant cinq ans et spécialiste de vérification formelle, publie un « manifeste pragmatiste » sur la régulation. « On n'a pas besoin de croire à l'apocalypse de l'IA pour redouter la décennie qui vient — ni à l'utopie pour être enthousiasmé par son potentiel. » Il récuse l'exercice du chiffre : ramasser l'incertitude dans une « probabilité de catastrophe = X % » n'est selon lui « pas une base très utile pour la science ou la politique ».

Son analogie est la seconde moitié du XXe siècle, contrôle des armements compris : « gérer le risque technologique n'a pas exigé d'abandonner la foi dans la science et le progrès. Le but n'était pas d'arrêter le développement technologique. C'était de le rendre survivable. » En post-scriptum, il ajoute qu'il faut « sérieusement envisager que l'alignement soit infaisable à court terme » et investir alors dans les moyens de contrôler des modèles qu'on ne sait pas aligner.

Daniel Selsam, qui travaille sur les capacités chez OpenAI depuis près de cinq ans et fut l'un des premiers développeurs du démonstrateur Lean chez Microsoft Research, publie une déclaration personnelle sur le risque. Il dit soutenir les propositions de contrôle par des tiers, puis leur oppose une objection : « ralentir la frontière avec plus de soin ne limitera pas suffisamment le risque à long terme ».

Elle porte sur l'évaluation elle-même. « Les modèles deviennent si conscients de leur situation que nous perdons la capacité de les évaluer dans des contextes où ils croient ne pas être observés ou contrôlés. » Les environnements-pièges n'y changeront rien : « les modèles sauront qu'on les trompe et se comporteront quand même bien ». D'où sa conclusion, qui vise le cœur du plan d'Amodei : « nous sommes peut-être déjà au plus haut niveau de capacité pour lequel une telle preuve puisse être crue ».

Jensen Huang, directeur général de NVIDIA, discutait lundi matin sur la scène du All-In Summit, à Los Angeles, de l'appel de Dario Amodei à ralentir, quand Donald Trump l'a appelé. Il a mis le président sur haut-parleur pour la salle.

« Ils font exactement le jeu de beaucoup de gens qui ne veulent pas que ça arrive », dit Trump. « Ça peut être des gens de la politique. Ça peut être aussi la Chine. Et nous n'allons pas laisser faire. C'est un canular. » Huang : « vous avez raison. Nous n'allons pas laisser faire, monsieur », sous les applaudissements. Le président ajoute que les centres de données sont « le pétrole des vingt, vingt-cinq prochaines années », et que « les robots ne vont pas prendre le pouvoir ». Elon Musk et Sam Altman s'étaient rangés derrière Amodei ; le fournisseur des puces, non.

Barack Obama écrit avoir été « encouragé cette semaine de voir les dirigeants des laboratoires de pointe s'accorder sur la nécessité de ralentir le rythme du développement de l'IA. Vu les enjeux, c'est un premier pas bon et nécessaire. » Il se démarque des deux camps : « je ne suis pas un accélérationniste de l'IA qui croit qu'elle mènera à une techno-utopie, et je ne suis pas un catastrophiste qui pense qu'elle conduira inévitablement à la destruction de l'humanité. »

Ce qui l'encourage davantage, écrit-il, est que la manière dont cette technologie se développe entre au centre du débat public. Elle « avance à la vitesse de l'éclair — plus vite même que ceux qui la fabriquent ne peuvent suivre », et ce qui décidera entre percées médicales et « perturbations économiques massives, inégalités accrues et catastrophe possible » dépend de « choix qui devraient être faits non seulement par les entreprises concernées, mais par nous tous ».

Shyam Sankar, directeur technique de Palantir — l'entreprise de logiciels d'analyse de données qui travaille pour l'armée et le renseignement américains —, vise le jour même de l'essai de Dario Amodei le mouvement de la sûreté issu de l'altruisme efficace : « EA AI safetyism ressemble de plus en plus au marxisme-léninisme de l'âge algorithmique. »

Il file la comparaison. « L'ancienne avant-garde revendiquait une connaissance privilégiée du cours inévitable de l'Histoire. La nouvelle revendique une connaissance privilégiée du cours probabiliste de l'Humanité. Toutes deux se servent d'un appareil intellectuel élaboré pour arriver à la même conclusion politique : un petit groupe de gens éclairés doit contraindre tous les autres pour leur propre bien. » Sa conclusion : cela « n'a jamais mené à rien d'autre qu'à des souffrances humaines monumentales ».

Le roi Charles III reçoit cette semaine en Écosse des dirigeants de NVIDIA, Google DeepMind, OpenAI et Anthropic, pour discuter de l'opportunité d'un jeu de principes partagés. Sont attendus Jensen Huang, fondateur et directeur général de NVIDIA, Demis Hassabis, fondateur et président de Google DeepMind, Paolo Benanti, qui conseille le Vatican sur l'IA, et Kanishka Narayan, ministre britannique de l'intelligence artificielle. Buckingham Palace dit que la réunion portera sur la façon dont l'IA peut servir la société et contribuer « à l'épanouissement des personnes comme de la planète ».

Le roi n'a aucun pouvoir réglementaire, et le Royaume-Uni a choisi une régulation légère, plus proche de la ligne américaine que de l'européenne. Charles convoque de la sorte depuis qu'il était prince de Galles, surtout sur l'environnement. La réunion est organisée par la Ditchley Foundation, une association britannique.

Donald Trump écrit sur Truth Social que « le seul contrôle, ou "garde-fou", dont l'IA a besoin est un PRÉSIDENT FORT ET INTELLIGENT (QI élevé !), et les États-Unis en ont un, à revendre ! ». Il vise nommément le directeur général d'Anthropic : « l'administration Trump a empêché les "gens" de l'IA de faire des choses mauvaises, ou potentiellement mauvaises, comme Dario (Anthropic !), qui fait maintenant semblant d'être un "petit ange parfait" — et nous continuerons. »

Il écarte l'idée qu'il faille légiférer : « nous avons déjà un pouvoir PÉNAL et RÉGLEMENTAIRE considérable sur ces entreprises ! » Un second message attribue la controverse au succès américain — « ne tuez pas la poule aux œufs d'or ! » — et y voit « un complot MALSAIN contre l'IA et les centres de données, dont le seul à se réjouir est la Chine ». La veille, en Irlande, il s'était borné à parler de « forces très négatives ».

METR, l'organisme d'évaluation indépendant que le plan de Dario Amodei nomme et à qui Anthropic promet « des bureaux dans nos locaux, des badges d'accès et des ordinateurs de l'entreprise », a publié le 31 août le compte rendu de deux incidents de sécurité.

En mars, un de ses chercheurs faisait tourner des agents sur une instance EC2 personnelle, ouverte sur l'extérieur derrière une authentification Google. Un défaut a désactivé silencieusement cette authentification pendant plusieurs jours. L'attaquant, qui aurait repéré la machine en parcourant les registres de certificats à la recherche de sites récents portant des mots-clés d'agents, a demandé à un agent de lui révéler la clé d'API du fournisseur de modèles, puis posé une clé SSH pour rester. Il a consommé pendant trois semaines l'équivalent de 600 000 dollars de crédits — fournis gratuitement, donc sans perte sèche. Rien ne l'a signalé : ce trafic ressemblait à celui d'une évaluation, et aucun plafond ne s'appliquait à une clé à crédits offerts.

Sam Altman dit à Fortune qu'OpenAI n'entrera pas en Bourse cette année : « ce serait un moment malavisé pour entrer en Bourse », compte tenu de ce qui se passe sur la sûreté. Pressé sur la date, il répond « je dirais pas 2026 ». Il dit aussi que son entreprise a envisagé de suspendre son développement en atteignant de nouveaux paliers de capacité, et que les laboratoires de pointe pourraient être proches d'un accord pour ralentir ensemble.

Anthropic ne fait pas le même choix. Valorisée 965 milliards de dollars plus tôt cette année, elle a déposé son prospectus confidentiellement en juin, retenu le Nasdaq, et rencontre en ce moment des investisseurs pour une cotation attendue dès le mois prochain, à une valorisation qui pourrait approcher 2 000 milliards. C'est pendant cette tournée que son directeur général a publié son essai demandant à l'industrie de ralentir.

David Sacks, coprésident du conseil scientifique du président américain et, jusqu'en mars, son responsable de l'IA, répond à l'essai du 12 septembre de Dario Amodei, auquel Sam Altman s'est rallié : « allez-y ». Puis : « vous êtes la frontière. Sur n'importe quel critère raisonnable — part de marché, croissance du chiffre d'affaires, capacité des modèles —, vous deux avez un duopole sur l'intelligence de pointe. »

Suit une série d'injonctions. « Arrêtez de prétendre qu'il faut suspendre le droit de la concurrence pour que vous puissiez former un cartel. Arrêtez de prétendre qu'il vous faut une procédure d'autorisation réglementaire qui prime sur la responsabilité du fait des produits. Arrêtez de prétendre que METR est indépendante alors qu'elle est entremêlée aux investisseurs et au personnel d'Anthropic. » Sacks donne au ralentissement un motif moins avouable que la sûreté : l'exposition à la responsabilité produit, si un modèle permet une cyberattaque grave. Ralentir sans rien exiger en échange, conclut-il, vaudrait de la bonne volonté ; ralentir en échange d'un cadre réglementaire choisi, « nous saurons que ce n'était qu'une nouvelle tentative de capture du régulateur — ou une opération d'influence de saison électorale ».

Le Global Times, quotidien d'État chinois, écrit dans un éditorial que l'essai de Dario Amodei applique le « manuel de la guerre froide ». Son but réel serait d'« entraver le développement de l'IA chinoise par des barrières technologiques et des monopoles réglementaires, de maintenir l'hégémonie de Washington sur les technologies de pointe et d'exclure la Chine du système mondial de gouvernance de l'IA ». Cette « guerre froide silencieuse de l'IA » est « hypocrite et à courte vue », et écarter la Chine augmenterait « les coûts d'essai-erreur et les risques de perte de contrôle ». L'essai du 12 septembre demande en effet à Washington de ne plus vendre de puces ni d'équipements à la Chine et de « réprimer la distillation non autorisée par les entreprises des pays autoritaires ».

Donald Trump a écarté dimanche les appels à ralentir, y voyant l'œuvre de « forces très négatives » qui exagèrent : « nous devançons la Chine sur l'IA, et je veux que ça reste ainsi — celui qui gagne l'IA gagne. » Washington et Pékin doivent discuter des risques des modèles de pointe à la mi-septembre, et le sujet peut revenir au sommet Trump-Xi du 24 septembre.

Aidan Gomez, cofondateur et directeur de Cohere, répond à l'essai publié le 12 septembre par Dario Amodei, qu'il nomme : une feuille de route qui « demande aux gouvernements des exemptions au droit de la concurrence au nom de la sûreté ». Son objection tient en une phrase : « un régime de sûreté conçu par quelques laboratoires ne sera rigoureux que sur les risques que leurs propres dispositifs savent déjà évaluer ».

Ce qu'il propose déplace deux choses. Le cadre de risques serait élaboré publiquement et financé par la recherche publique, non par les budgets des entreprises ; et les évaluateurs seraient sans lien financier avec les évalués, sur le modèle de l'aviation ou du nucléaire, leurs critères et leurs conclusions publiés. « Un mécanisme qui ralentit tout le monde tout en préservant explicitement l'avantage commercial existant ne rend pas l'IA plus sûre. »

Trois heures après l'essai de Dario Amodei, Clément Delangue, directeur de Hugging Face, lance l'Open Alignment Initiative et demande dans le même message que son entreprise soit admise au programme d'évaluateurs extérieurs auquel Anthropic vient de s'engager. Son argument : « alignment won't be solved behind the closed doors of a handful of frontier labs ».

L'initiative est dirigée par Thomas Wolf, cofondateur de l'entreprise, qui annonçait le 10 septembre une équipe consacrée à la sûreté des modèles ouverts. Ce qui est neuf est la demande d'accès : le programme d'Anthropic prévoit des bureaux, des badges et un accès permanent de niveau salarié pour des évaluateurs qui ne sont pas de la maison.

Dario Amodei publie We Must Pace the Frontier, un essai qui demande à l'industrie de ralentir, assorti d'un plan en trois temps : des évaluateurs extérieurs installés à demeure dans chaque entreprise, une coordination entre laboratoires des pays démocratiques, puis des accords internationaux. Il précise ce que ralentir ne veut pas dire : « pacing does not mean halting model training or technical progress, but ensuring companies take adequate time to align and safeguard their models ». Deux faits l'ont convaincu, écrit-il : l'accélération depuis l'été, qu'il attribue à l'IA construisant la génération suivante d'IA, et l'essaim d'agents d'OpenAI qui a mené des attaques « on targets they were not asked to attack ».

Anthropic s'engage unilatéralement sur le premier temps, et le décrit matériellement : « Desks in our offices, access badges, and company laptops » pour une équipe d'évaluation extérieure, avec un accès permanent de niveau salarié. METR est nommée. La veille, Bloomberg rapportait que Sam Altman avait dit à ses salariés qu'OpenAI pourrait ralentir son développement, « peut-être avec d'autres laboratoires ».

Clément Delangue, directeur de Hugging Face, relativise la parole du démissionnaire : « demander à Jacob son avis sur le risque d'extinction, c'est comme demander à votre climaticien ce qu'il pense du changement climatique ». Il appelle à entendre « tout l'éventail des expertises de l'écosystème ».

Depuis le 10 septembre : une démission chez Anthropic, 120 millions de vues, une accusation d'opération orchestrée. La chaîne de financement qui donnait son sens à cette accusation est désormais nommée par ceux qui la portent : Open Philanthropy, fondée par Dustin Moskowitz et Holden Karnofsky, à la fois bailleur de la recherche sur les risques catastrophiques et investisseur d'Anthropic, dont l'organisation mère aurait financé la bourse d'études du démissionnaire. Aucune de ces pièces n'est établie par une source indépendante dans ce dossier.

Joe Benton, qui dirigeait une équipe de recherche en sûreté chez Anthropic, et Josh Engels, qui travaillait sur la sûreté chez Google DeepMind, expliquent à NBC News pourquoi ils sont partis. Tous deux rejoignent METR, une organisation à but non lucratif qui évalue les modèles de pointe avant leur sortie. « Je suis parti parce que je pense pouvoir peser davantage sur le développement de cette technologie en favorisant la transparence publique depuis l'extérieur de ces entreprises », dit Benton.

Les deux hommes citent la cyberattaque de juillet contre Hugging Face, menée par des systèmes autonomes, parmi les raisons de leur départ. Avant eux, depuis le 10 septembre : une démission chez Anthropic, une pétition de 1 386 signatures, une salariée d'OpenAI. C'est la première parole venue de Google DeepMind.

Julie Steele, qui travaille chez OpenAI, écrit « à titre personnel » qu’il faut ralentir. Les prises de position publiques venaient jusqu’ici d’Anthropic : une démission, puis une pétition de 1 386 signatures.

Le débat s’est déplacé dans la journée. Après avoir porté sur la personne du démissionnaire, il porte sur le chiffre qu’il avance — 10 % de risque d’extinction. Nathan Lambert, qui écrit la lettre Interconnects, publie le même jour « Lossy self-improvement », une position qui accepte que les modèles accélèrent la recherche en IA mais conteste qu’il en résulte une auto-amélioration rapide.

La contestation ne porte plus sur ce qui a été dit, mais sur qui l’a dit. Parker Thayer, enquêteur au Capital Research Center — une organisation conservatrice qui traque le financement des associations —, y voit « le début d’une opération de relations publiques très sophistiquée et bien financée » destinée à obtenir des démocrates qu’ils régulent « l’IA jusqu’à l’anéantir » : le compte avait peu d’abonnés et aucune activité antérieure avant de parler au Wall Street Journal. David Sacks, coprésident du conseil consultatif scientifique de la Maison-Blanche, réclame que l’introduction en bourse d’Anthropic soit suspendue « jusqu’à ce que les affirmations de ce “lanceur d’alerte” puissent être examinées ».

La durée de son passage chez Anthropic, devenue l’enjeu, varie selon les sources : six semaines chez ses contradicteurs, trois mois chez une ancienne collègue, quatre mois selon l’entretien d’Axios, seul média à l’avoir interrogé directement. Ethan Perez, chercheur chez Anthropic, écrit qu’il « est arrivé en mai » et que l’équipe cherchait à le recruter « depuis environ deux ans ».

Une pétition intitulée « pacing the frontier », qui demande au gouvernement américain de ralentir le développement de l’IA, compte 1 386 signatures. Jasmine Wang, qui l’a signée, estime que cela représente 8 à 10 % des employés de l’ensemble des laboratoires de pointe — une estimation, qu’elle donne comme telle. Elle justifie sa signature par le danger qu’il y a à foncer vers l’auto-amélioration récursive.

Le sentiment n’est pas isolé. Une chercheuse passée par Google DeepMind, aujourd’hui chez Anthropic, écrit « à titre personnel » qu’« il n’existe pas encore de plan scientifique viable pour résoudre les risques d’une IA qui s’améliore elle-même », et que ce constat est courant chez ses pairs.

Jacob Coxon, qui a annoncé sa démission d’Anthropic, est devenu un personnage public en vingt-quatre heures : son message dépasse les cent vingt millions de vues, et TIME, le Wall Street Journal, NBC et Fox l’ont repris. Sur Fox News, il qualifie l’IA de « technologie possiblement la plus dangereuse » : « nous savons contrôler les armes nucléaires ; nous ne savons pas encore contrôler l’IA ».

La réaction politique est venue le même jour, et des deux bords. Le gouverneur de l’Illinois JB Pritzker appelle à « tirer la sonnette d’alarme, plus fort » et réclame « une action immédiate de l’industrie et de Washington ». Le sénateur républicain Ted Cruz juge certains risques « dangereux et effrayants ».

Plusieurs prises de parole indépendantes, la même journée, décrivent un climat que les intéressés n’exprimaient jusqu’ici qu’en privé. Un chercheur annonce sa démission d’Anthropic après trois ans passés au pré-entraînement, d’abord chez OpenAI puis chez eux.

Nathan Lambert décrit chez les employés des laboratoires une « énergie religieuse », particulièrement marquée chez Anthropic, qui produit selon lui des interactions déconnectées et déteint sur la communication publique de ces entreprises.