Sakana AI entraîne mille couches sans rétropropagation, presque aussi bien

Jeffrey Seely et Julian Gould, du laboratoire japonais Sakana AI, détaillent PC-ALM, une méthode d'entraînement où chaque couche d'un réseau ne communique qu'avec ses voisines. La rétropropagation, elle, impose trois phases dans un ordre strict, et aucun mécanisme connu du cerveau n'assure une telle synchronisation. PC-ALM attache à chaque couche des multiplicateurs de Lagrange qui accumulent l'erreur de prédiction ; dans un réseau linéaire, ils convergent vers le signal de crédit exact de la rétropropagation.

Sur MNIST, un perceptron résiduel de mille couches reste à environ deux points de la rétropropagation — première méthode purement locale à tenir cette profondeur, écrivent les auteurs. Les tâches restent simples, MNIST, Fashion-MNIST, CIFAR-10 et Tiny ImageNet. L'article a été déposé en mai ; le code est ouvert.