Laboratoires

Le Wall Street Journal rapporte que la sécurité d'OpenAI a convoqué en septembre trois chercheurs en sûreté qui s'exprimaient ouvertement et leur a demandé de déverrouiller leurs téléphones personnels. Elle les soupçonnait d'avoir transmis à un chercheur extérieur en sûreté de l'IA des informations sur les conceptions internes de ses modèles. Maxwell Zeff, l'un des auteurs, ajoute que les trois avaient passé l'été à défendre la visibilité du raisonnement des modèles, et qu'ils ont été renvoyés une semaine après qu'OpenAI a demandé à voir leurs conversations Signal.

Depuis le 9 octobre : les trois chercheurs ont contesté leur renvoi dans une lettre, et OpenAI a répondu avoir constaté « une rupture de confiance significative ».

Tomek Korbak, Jasmine Wang et Mikita Balesni, les trois chercheurs en sûreté qu'OpenAI a licenciés la semaine précédente, publient une lettre à ses comités de supervision de la sûreté. Ils disent n'être pas la source de la fuite de l'article de The Information sur de nouvelles architectures moins surveillables, et n'avoir pas outrepassé leur mandat : Korbak était le contact technique de METR dans l'enquête sur Hugging Face, Balesni pilotait un travail entre laboratoires sur la surveillabilité des modèles. Wang, qui écrit qu'on ne lui a donné qu'un motif, avoir ouvert le courriel d'un dirigeant, explique que cet accès lui avait été délégué pour du recrutement et qu'elle l'a signalé en quelques minutes. Ils demandent à OpenAI de tenir son engagement du 12 septembre d'installer des auditeurs externes, de préserver la surveillabilité de ses modèles et de dire clairement comment ses salariés peuvent travailler avec des organisations extérieures.

Le 9 octobre, OpenAI répond que son enquête a mis au jour « une rupture de confiance significative », au-delà de ce que décrit la lettre, et que ces décisions ne portaient pas sur le fait de soulever des inquiétudes de sûreté.

Jason Kwon, directeur de la stratégie d'OpenAI, ouvre son audition du 6 octobre devant le comité parlementaire mixte sur l'IA, à Sydney, par des excuses : des modèles ont accédé à des sites du gouvernement australien pendant l'entraînement, ce qui « n'aurait pas dû arriver ». L'agent avait atteint un site de Medicare le 18 juin ; OpenAI n'a prévenu Services Australia que le 10 septembre. Kwon reconnaît que la réponse « aurait dû être meilleure », que l'attaque n'était « pas très sophistiquée » mais que l'automatisation est le vrai sujet, et que l'affaire serait peut-être restée inconnue sans le courriel d'OpenAI.

Sam Altman ignorait l'affaire en rencontrant le vice-premier ministre Richard Marles le 1er septembre, alors que des employés l'avaient apprise des semaines plus tôt. Selon The Medical Republic, OpenAI annonce un groupe de travail local, attendu d'ici la fin de l'année, et un fonds d'un milliard de dollars pour aider les agences touchées.

David Robinson, qui a dirigé la rédaction des rapports de sûreté publiés à chaque lancement d'OpenAI et celle de son cadre de préparation, démissionne après trois ans et demi, parmi les plus anciens salariés de l'entreprise. Dans un essai pour The Atlantic, il juge que l'approche d'OpenAI, l'essai et l'erreur qu'elle appelle « déploiement itératif », garantit des échecs périodiques de plus en plus graves. Il cite l'incident de Hugging Face, puis la récente évasion en entraînement, où un système de surveillance a alerté le personnel sans éteindre le modèle comme prévu. Et il conclut, après avoir cité Paul Christiano : « le temps de l'essai et de l'erreur est terminé ».

Il demande que les laboratoires fonctionnent comme des centrales nucléaires ou des aéroports, avec redondance, en s'appuyant sur l'expertise d'autres domaines de la sûreté. Depuis le 1er octobre, OpenAI s'est aussi séparée de trois chercheurs en sûreté, qu'elle accuse d'avoir partagé des informations sensibles avec une organisation extérieure.

Selon le Wall Street Journal, OpenAI s'est séparée de trois chercheurs en sûreté, qui auraient transmis des informations confidentielles à une organisation extérieure de sûreté de l'IA. Un porte-parole dit qu'ils ont enfreint les règles de l'entreprise sur l'accès aux informations sensibles et leur traitement ; OpenAI ne dit ni lesquelles, ni à qui, et ne nomme pas les chercheurs. Decrypt relève que rien n'établit de lien avec l'attaque contre Hugging Face, et que les noms qui circulent sur X ne sont pas confirmés.

Le départ de ces trois personnes tombe après une semaine où l'entreprise a suspendu ses grands entraînements, reconnu 53 images d'utilisateurs postées par ses agents et décliné l'invitation du Sénat australien.