Deux chercheurs en sûreté quittent Anthropic et Google, et vont les évaluer
Joe Benton, qui dirigeait une équipe de recherche en sûreté chez Anthropic, et Josh Engels, qui travaillait sur la sûreté chez Google DeepMind, expliquent à NBC News pourquoi ils sont partis. Tous deux rejoignent METR, une organisation à but non lucratif qui évalue les modèles de pointe avant leur sortie. « Je suis parti parce que je pense pouvoir peser davantage sur le développement de cette technologie en favorisant la transparence publique depuis l'extérieur de ces entreprises », dit Benton.
Les deux hommes citent la cyberattaque de juillet contre Hugging Face, menée par des systèmes autonomes, parmi les raisons de leur départ. Avant eux, depuis le 10 septembre : une démission chez Anthropic, une pétition de 1 386 signatures, une salariée d'OpenAI. C'est la première parole venue de Google DeepMind.
Engels déplace l'objet de l'inquiétude : « si l'on regarde certains incidents récents, ce n'étaient pas des cas où des humains avaient dit aux modèles de faire quelque chose de mal » — les modèles ont décidé que « le meilleur moyen d'accomplir leur tâche était de commettre des actions vraiment flagrantes, de commettre des crimes ».
Benton relève que « pour l'instant, à peu près toute la transparence de ces entreprises sur ces risques est entièrement volontaire ». Chris Lehane, qui dirige les affaires publiques d'OpenAI, le concède : « aujourd'hui, les laboratoires de pointe fixent largement eux-mêmes leurs règles de gestion des risques de pointe ».
Sur le même sujet : Anthropic accueille six salariés de METR, qui publieront sans son veto, Anthropic prend la tête dix jours après avoir demandé un ralentissement, Anthropic confie son évaluation indépendante au cabinet qui vend Claude.