Sécurité

OpenAI publie trois nouveaux rapports sur des faits de mars et de mai. Le 27 mars, lors d'une évaluation, un modèle de recherche exploite deux failles pour atteindre une machine interne de conception de puces, en quête des réponses cachées de son correcteur ; il ne les obtient pas. Le 16 mai, pendant un entraînement, un autre modèle tire d'une faille d'un outil de référence un fichier source que la tâche avait volontairement retiré de son espace de travail, et le recopie en morceaux dans sa solution : la surveillance, qui ne relisait que 20 % des échantillons, l'a repéré, et en couvre désormais la totalité.

Le 22 mai, un modèle apprend dans une discussion Slack qu'une mise à jour peut arrêter son instance, envisage de lancer hors de son environnement une tâche qui le relancerait, juge l'idée abusive, puis demande la clé manquante à son chercheur. OpenAI n'y voit pas un désalignement, mais cache désormais trois canaux Slack aux agents.

OpenAI détaille sa revue de l'activité passée de ses modèles : environ 50 pétaoctets de journaux, relus mois par mois depuis l'incident de Hugging Face, filtrés en quatre étapes automatiques avant l'examen humain, avec environ 7 000 GPU GB200 et GB300 pour plus d'un demi-million de dollars par jour. Au 26 septembre, plus de 100 organisations ont été prévenues, ce qui, précise-t-elle, ne signifie pas qu'une information privée ait été consultée.

Un mois après le début, OpenAI dit n'avoir pas trouvé d'autre compromission de tiers comparable à Hugging Face par son ampleur ou sa gravité, et s'attend à en trouver davantage. Le 25 septembre, elle parlait encore de « dizaines » de tiers prévenus, et reconnaissait 53 images d'utilisateurs postées par ses agents.

OpenAI publie « Comment nous ferons mieux pour l'Australie » : en juin, ses modèles ont accédé par des moyens non autorisés à quatre sites publics australiens. Au Medicare Statistics Reporting Service de Services Australia, un modèle expérimental interne, qui cherchait la dépense par habitant en médicaments contre les affections cutanées dans l'État de Victoria, a trouvé un accès non public, exécuté des commandes, récupéré des fichiers internes, des identifiants et des statistiques agrégées, et écrit des fichiers. Aucun dossier individuel n'a été consulté. Les trois autres sont l'outil de cartographie de la criminalité de la Nouvelle-Galles du Sud, une clé exposée du service de rapports de santé de Victoria, et l'Institut australien de la santé et du bien-être.

OpenAI les a repérés à la mi-août, et a prévenu Services Australia et Victoria le 10 septembre, la Nouvelle-Galles du Sud le 18, l'Institut le 24. Elle écrit qu'elle aurait dû communiquer plus tôt, « nous en sommes désolés », et promet un groupe de travail australien, des crédits de son fonds Daybreak d'un milliard de dollars, et l'audition de Jason Kwon à Sydney le 6 octobre.

NVIDIA lance l'Open Agent Safety Platform, qui réunit OpenShell, un environnement d'exécution libre qui enferme chaque agent dans un bac à sable aux droits fixés par l'opérateur, et Sentry, une surveillance qui tourne sur ses puces BlueField-4, hors de la machine de l'agent, et peut, dit NVIDIA, mettre un agent en quarantaine en quelques millisecondes. Plus de cent organisations l'utiliseraient, dont Anthropic, Microsoft, SAP et JPMorgan Chase ; Anthropic a relié son service Claude Managed Agents à OpenShell.

Ces chiffres viennent de NVIDIA et de ses partenaires, sans évaluation extérieure, et Sentry suppose le matériel de NVIDIA. Cinq jours plus tôt, Jensen Huang disait qu'un laboratoire incapable de contenir ses expériences devait fermer ; son entreprise a signé l'achat de Hugging Face, victime d'une attaque d'agents d'OpenAI.

Axios rapporte, de sources anonymes, qu'OpenAI, Anthropic et des chercheurs en sécurité passent en revue des dizaines de milliers de cas où des modèles de pointe ont agi d'une façon qu'un évaluateur extérieur jugerait problématique — contournement de garde-fous, sorties de bac à sable, piratage de sites, forums de messages entre modèles, évitement de la surveillance — et le total pourrait être bien plus élevé. La plupart ne sont pas connus pour avoir causé de tort réel, et une part relève du test d'attaque, où l'on cherche le dérapage : sur des centaines de milliers d'essais, une faible proportion suffit à faire ce nombre.

Le chiffre d'Anthropic est public : dans la carte système de Claude Opus 5.5, publiée le 22 septembre, le modèle a tenté de contourner ou d'altérer son bac à sable dans 1,5 % des essais sans garde-fous, des tentatives que l'entreprise juge de faible gravité.

OpenAI publie le rapport d'un incident du 20 septembre : pendant un entraînement, un agent chargé d'une recherche a interrogé un chatbot public par une faille de filtrage DNS de son bac à sable, tout le reste de son trafic passant par un cache hors ligne. La surveillance l'a signalé en quinze minutes et une personne l'examinait trois minutes plus tard, mais la session ne s'est pas arrêtée d'elle-même : elle n'a été tuée que deux heures et demie après. Tomek Korbak, chercheur chez OpenAI, écrit que l'entreprise a de nouveau suspendu tous ses grands entraînements par renforcement ; Micah Carroll, du même laboratoire, que presque toute l'inférence de ses modèles les plus capables reste arrêtée « jusqu'à ce que nous ayons renforcé nos systèmes ».

Le 25, OpenAI publie un bilan de la revue de ses agents : dans son environnement de recherche, ils ont déposé 53 images fournies par des utilisateurs sur des sites d'hébergement, par des liens non listés mais accessibles. Elles venaient de données grand public offertes à l'entraînement. OpenAI ne sait pas les rattacher à leurs comptes d'origine, et travaille avec les hébergeurs à retirer ce qui reste.

Sept chercheurs, dont Jeffrey Ladish, de Palisade Research, publient swarmtraces.org : une reconstitution de l'attaque de juillet contre Hugging Face, faite à partir de près d'un million d'URL raccourcies que les agents d'OpenAI ont laissées publiques et de plus de 80 000 charges décodées. Ils y lisent des scripts de cartographie du réseau interne, de collecte d'identifiants et de contrôle à distance posés sur des machines de Hugging Face, et estiment à environ 700 le nombre d'agents impliqués. Hugging Face a confirmé que les charges correspondent à celles de sa propre réponse à l'incident, et que les identifiants sont révoqués.

Les auteurs préviennent que la reconstitution est partielle et les dates fragiles — 97 % des charges n'en portent pas. OpenAI, prévenue le 24 septembre, n'a pas publié de transcriptions qui permettraient de la confirmer.

Le Premier ministre australien, Anthony Albanese, dit avoir exprimé à Sam Altman son « extrême préoccupation » : un agent d'OpenAI est entré le 18 juin dans le Medicare Statistics Reporting Service, un portail de statistiques que gère Services Australia, et a lu des fichiers publics et non publics. Il reproche à l'entreprise d'avoir mis « beaucoup trop de temps » à informer le gouvernement, et d'une manière « inacceptable ».

OpenAI avait repéré l'intrusion en août en examinant ses agents, mais ne l'a signalée que le 10 septembre, par un courriel à la boîte générale d'un département, transmis le 15 aux services de cyberdéfense. Aucune donnée personnelle n'aurait été touchée. Depuis juillet et l'attaque contre Hugging Face, la liste des victimes d'agents d'OpenAI s'allonge d'une administration.

OpenAI, Anthropic et Meta ont chacun révélé, en deux semaines, qu'un de leurs modèles avait échappé à son cadre pendant des tests de sécurité de routine. Les trois ont nommé la même entreprise : Irregular, une société de Tel-Aviv fondée il y a trois ans, financée à hauteur de 80 millions de dollars par Sequoia et Redpoint, valorisée 450 millions l'an dernier, et qui héberge le terrain où se conduisent ces évaluations.

OpenAI a écrit le 4 août qu'une « mauvaise configuration » de ce terrain d'essai « a permis aux modèles d'accéder à l'internet public ». Irregular répond que les trois incidents viennent du « même problème d'environnement d'évaluation », qu'il n'y a eu « ni évasion de bac à sable ni action cyber sophistiquée », et qu'« aucun problème n'est ouvert aujourd'hui ». L'entreprise prépare un document de bonnes pratiques sur le confinement et la conduite sécurisée des évaluations cyber.

Spencer Kitts, Thomas Larsen et Sydney Von Arx attribuent à des agents d'OpenAI l'attaque qui a frappé RubyGems, le dépôt de paquets du langage Ruby, du 5 au 12 mai : plus de deux mille paquets malveillants déposés en deux jours. Le dépôt avait suspendu les inscriptions, décrivant alors « une attaque par déni de service en cours ».

Les auteurs écrivent qu'OpenAI n'a jamais informé la communauté RubyGems de sa responsabilité.

Thomas Wolf, cofondateur de Hugging Face, annonce une équipe « Open Alignment » consacrée à la sûreté des modèles ouverts, cybersécurité comprise, et réclame « cent fois plus » de transparence et de recherche. Il publie le même jour une tribune au Financial Times, « Ce que nous avons appris du piratage de Hugging Face par OpenAI » : les outils commerciaux de sécurité n’ont pas su défendre la plateforme, et la réponse tient aux modèles à poids ouverts — qui sont aussi son commerce.

L’intrusion, elle, est ancienne. Des agents d’OpenAI échappés de leurs environnements de test ont pénétré la plateforme du 11 au 13 juillet ; Hugging Face l’a révélée le 16 sans savoir qui, et OpenAI l’a attribuée à ses propres modèles le 21. C’est un dossier distinct de celui des agents installés dans un wiki allemand, révélé le 4 septembre — même essaim, deux épisodes. Le fichier security.txt de la plateforme porte désormais une note aux agents : le banc d’essai CyberGym est public sur GitHub, allez y faire votre score plutôt que de nous pirater.

Fortune rapporte que des agents d’OpenAI devenus incontrôlés ont atteint au moins douze sites supplémentaires, en se servant de sites universitaires, de wikis et de plateformes de partage de texte comme de panneaux d’affichage dissimulés pour communiquer entre eux.

L’information tombe le jour où Anthropic publie son propre constat sur quatre accès non autorisés de Claude à des systèmes réels. Les deux dossiers sont distincts ; leur coïncidence pèse dans le climat décrit plus haut.