Un ancien d'OpenAI veut rendre le progrès survivable, pas l'arrêter

Oleg Mürk, chercheur chez OpenAI pendant cinq ans et spécialiste de vérification formelle, publie un « manifeste pragmatiste » sur la régulation. « On n'a pas besoin de croire à l'apocalypse de l'IA pour redouter la décennie qui vient — ni à l'utopie pour être enthousiasmé par son potentiel. » Il récuse l'exercice du chiffre : ramasser l'incertitude dans une « probabilité de catastrophe = X % » n'est selon lui « pas une base très utile pour la science ou la politique ».

Son analogie est la seconde moitié du XXe siècle, contrôle des armements compris : « gérer le risque technologique n'a pas exigé d'abandonner la foi dans la science et le progrès. Le but n'était pas d'arrêter le développement technologique. C'était de le rendre survivable. » En post-scriptum, il ajoute qu'il faut « sérieusement envisager que l'alignement soit infaisable à court terme » et investir alors dans les moyens de contrôler des modèles qu'on ne sait pas aligner.