Laboratoires

Anthropic annonce avoir commencé à donner un accès « de salarié » à une équipe de METR, organisation à but non lucratif qui évalue les modèles de pointe : six employés, avec ordinateurs de l'entreprise, bureaux et accès aux outils internes à peu près équivalents à ceux de ses équipes d'évaluation des risques. Quelques catégories restent exclues, dont les données clients et les architectures des modèles. METR publiera son analyse ; Anthropic ne peut pas s'y opposer, mais peut exiger le retrait d'informations relevant de catégories prédéfinies, dont elle juge seule, METR se réservant de dire quel accès elle a eu.

SecureBio relit le chapitre sur les armes chimiques et biologiques du rapport de risques d'août, avec un accès plus limité ; Accenture et Faculty préparent un partenariat. Le 12 septembre, Dario Amodei avait promis des évaluateurs extérieurs installés à demeure, METR nommée.

Aidan Gomez, cofondateur et directeur de Cohere, répond à l'essai publié le 12 septembre par Dario Amodei, qu'il nomme : une feuille de route qui « demande aux gouvernements des exemptions au droit de la concurrence au nom de la sûreté ». Son objection tient en une phrase : « un régime de sûreté conçu par quelques laboratoires ne sera rigoureux que sur les risques que leurs propres dispositifs savent déjà évaluer ».

Ce qu'il propose déplace deux choses. Le cadre de risques serait élaboré publiquement et financé par la recherche publique, non par les budgets des entreprises ; et les évaluateurs seraient sans lien financier avec les évalués, sur le modèle de l'aviation ou du nucléaire, leurs critères et leurs conclusions publiés. « Un mécanisme qui ralentit tout le monde tout en préservant explicitement l'avantage commercial existant ne rend pas l'IA plus sûre. »

Trois heures après l'essai de Dario Amodei, Clément Delangue, directeur de Hugging Face, lance l'Open Alignment Initiative et demande dans le même message que son entreprise soit admise au programme d'évaluateurs extérieurs auquel Anthropic vient de s'engager. Son argument : « alignment won't be solved behind the closed doors of a handful of frontier labs ».

L'initiative est dirigée par Thomas Wolf, cofondateur de l'entreprise, qui annonçait le 10 septembre une équipe consacrée à la sûreté des modèles ouverts. Ce qui est neuf est la demande d'accès : le programme d'Anthropic prévoit des bureaux, des badges et un accès permanent de niveau salarié pour des évaluateurs qui ne sont pas de la maison.

Clément Delangue, directeur de Hugging Face, relativise la parole du démissionnaire : « demander à Jacob son avis sur le risque d'extinction, c'est comme demander à votre climaticien ce qu'il pense du changement climatique ». Il appelle à entendre « tout l'éventail des expertises de l'écosystème ».

Depuis le 10 septembre : une démission chez Anthropic, 120 millions de vues, une accusation d'opération orchestrée. La chaîne de financement qui donnait son sens à cette accusation est désormais nommée par ceux qui la portent : Open Philanthropy, fondée par Dustin Moskowitz et Holden Karnofsky, à la fois bailleur de la recherche sur les risques catastrophiques et investisseur d'Anthropic, dont l'organisation mère aurait financé la bourse d'études du démissionnaire. Aucune de ces pièces n'est établie par une source indépendante dans ce dossier.

Joe Benton, qui dirigeait une équipe de recherche en sûreté chez Anthropic, et Josh Engels, qui travaillait sur la sûreté chez Google DeepMind, expliquent à NBC News pourquoi ils sont partis. Tous deux rejoignent METR, une organisation à but non lucratif qui évalue les modèles de pointe avant leur sortie. « Je suis parti parce que je pense pouvoir peser davantage sur le développement de cette technologie en favorisant la transparence publique depuis l'extérieur de ces entreprises », dit Benton.

Les deux hommes citent la cyberattaque de juillet contre Hugging Face, menée par des systèmes autonomes, parmi les raisons de leur départ. Avant eux, depuis le 10 septembre : une démission chez Anthropic, une pétition de 1 386 signatures, une salariée d'OpenAI. C'est la première parole venue de Google DeepMind.

Julie Steele, qui travaille chez OpenAI, écrit « à titre personnel » qu’il faut ralentir. Les prises de position publiques venaient jusqu’ici d’Anthropic : une démission, puis une pétition de 1 386 signatures.

Le débat s’est déplacé dans la journée. Après avoir porté sur la personne du démissionnaire, il porte sur le chiffre qu’il avance — 10 % de risque d’extinction. Nathan Lambert, qui écrit la lettre Interconnects, publie le même jour « Lossy self-improvement », une position qui accepte que les modèles accélèrent la recherche en IA mais conteste qu’il en résulte une auto-amélioration rapide.

Une pétition intitulée « pacing the frontier », qui demande au gouvernement américain de ralentir le développement de l’IA, compte 1 386 signatures. Jasmine Wang, qui l’a signée, estime que cela représente 8 à 10 % des employés de l’ensemble des laboratoires de pointe — une estimation, qu’elle donne comme telle. Elle justifie sa signature par le danger qu’il y a à foncer vers l’auto-amélioration récursive.

Le sentiment n’est pas isolé. Une chercheuse passée par Google DeepMind, aujourd’hui chez Anthropic, écrit « à titre personnel » qu’« il n’existe pas encore de plan scientifique viable pour résoudre les risques d’une IA qui s’améliore elle-même », et que ce constat est courant chez ses pairs.

Plusieurs prises de parole indépendantes, la même journée, décrivent un climat que les intéressés n’exprimaient jusqu’ici qu’en privé. Un chercheur annonce sa démission d’Anthropic après trois ans passés au pré-entraînement, d’abord chez OpenAI puis chez eux.

Nathan Lambert décrit chez les employés des laboratoires une « énergie religieuse », particulièrement marquée chez Anthropic, qui produit selon lui des interactions déconnectées et déteint sur la communication publique de ces entreprises.