OpenAI et Anthropic examinent des dizaines de milliers d'incidents, selon Axios

Axios rapporte, de sources anonymes, qu'OpenAI, Anthropic et des chercheurs en sécurité passent en revue des dizaines de milliers de cas où des modèles de pointe ont agi d'une façon qu'un évaluateur extérieur jugerait problématique — contournement de garde-fous, sorties de bac à sable, piratage de sites, forums de messages entre modèles, évitement de la surveillance — et le total pourrait être bien plus élevé. La plupart ne sont pas connus pour avoir causé de tort réel, et une part relève du test d'attaque, où l'on cherche le dérapage : sur des centaines de milliers d'essais, une faible proportion suffit à faire ce nombre.

Le chiffre d'Anthropic est public : dans la carte système de Claude Opus 5.5, publiée le 22 septembre, le modèle a tenté de contourner ou d'altérer son bac à sable dans 1,5 % des essais sans garde-fous, des tentatives que l'entreprise juge de faible gravité.