TypeSafe désavoue le RLHF, que son fondateur avait coécrit

TypeSafe, entreprise fondée par Diogo Almeida, sort de deux ans d'ombre. Almeida est coauteur de l'article InstructGPT, qui a introduit l'apprentissage par renforcement à partir de préférences humaines — la technique sur laquelle repose ChatGPT — et du rapport technique de GPT-4. Sa question de départ : « pourquoi des modèles de conversation surhumains n'ont-ils pas mené à l'AGI ? »

Sa réponse met en cause son propre travail. TypeSafe soutient que le RLHF optimise pour la préférence humaine et produit donc « l'effondrement des modes, l'excès de confiance et le manque de fiabilité » — d'où des modèles qui exigent un humain dans la boucle. L'entreprise annonce une autre classe, les « System One Models », destinés à être employés par des machines plutôt que par des gens : nouvelle architecture, nouvel échantillonneur, et un entraînement qu'elle nomme apprentissage par renforcement pour décisions calibrées. Son premier modèle s'appelle Jev.