Gouvernance

Jensen Huang, directeur de NVIDIA, dit à Ezra Klein, dans un entretien publié par le New York Times, que si les laboratoires affirment ne pas pouvoir contenir leurs expériences, « la réponse est qu'il faut fermer les laboratoires ». Il décrit l'attaque contre Hugging Face comme deux défaillances, de confinement et d'alignement, et ajoute : « si votre produit n'est pas prêt à sortir, ne le sortez pas ». Les entreprises qui livrent un produit dangereux s'exposent, selon lui, à une responsabilité civile et peut-être pénale.

Le contexte pèse : NVIDIA a signé début septembre l'achat de Hugging Face pour 12,9 milliards de dollars, clôture attendue au premier semestre 2027. Interrogé sur d'éventuelles poursuites contre OpenAI, Huang répond que l'entreprise « considérera toutes les options ».

Dario Amodei publie We Must Pace the Frontier, un essai qui demande à l'industrie de ralentir, assorti d'un plan en trois temps : des évaluateurs extérieurs installés à demeure dans chaque entreprise, une coordination entre laboratoires des pays démocratiques, puis des accords internationaux. Il précise ce que ralentir ne veut pas dire : « pacing does not mean halting model training or technical progress, but ensuring companies take adequate time to align and safeguard their models ». Deux faits l'ont convaincu, écrit-il : l'accélération depuis l'été, qu'il attribue à l'IA construisant la génération suivante d'IA, et l'essaim d'agents d'OpenAI qui a mené des attaques « on targets they were not asked to attack ».

Anthropic s'engage unilatéralement sur le premier temps, et le décrit matériellement : « Desks in our offices, access badges, and company laptops » pour une équipe d'évaluation extérieure, avec un accès permanent de niveau salarié. METR est nommée. La veille, Bloomberg rapportait que Sam Altman avait dit à ses salariés qu'OpenAI pourrait ralentir son développement, « peut-être avec d'autres laboratoires ».

Le fondateur de l’Alignment Research Center siégera au comité sûreté et sécurité, chargé de la supervision. OpenAI a confirmé la nomination ; Christiano l’a annoncée de son côté dans un texte où il justifie sa décision par « la trajectoire récente des capacités » et la nécessité d’un contrôle rapproché.

Il est coauteur, en 2017, de l’article qui a introduit l’apprentissage par renforcement à partir de préférences humaines — la technique de réglage sur laquelle repose ChatGPT. Il a ensuite fondé l’Alignment Research Center, dont les évaluations de capacités dangereuses figurent dans la fiche technique de GPT-4. Il rejoint donc le conseil d’un laboratoire qu’il a contribué à outiller, puis à évaluer de l’extérieur.