Recherche
Annonce · 21 octobre 2026
GIST ajuste le nombre de jetons d'une image à son sens
How many tokens does it take to capture the gist of an image? Introducing GIST: an image tokenizer that learns to preserve what matters and chooses how many tokens each image needs, in one forward pass. Now on arXiv 🎉🎉
L'article, déposé le 11 octobre, part des tokeniseurs adaptatifs, qui donnent à chaque image un nombre de jetons selon une erreur de reconstruction mesurée en pixels. GIST y ajoute une erreur sémantique, mesurée dans l'espace de caractéristiques d'un encodeur DINOv3 gelé : la fixer à zéro permet de relâcher le détail des pixels en gardant ce que l'image montre. Sur ImageNet-100, face à KARL, son équivalent contrôlé par les pixels, il réduit la mesure LPIPS jusqu'à 30 % et DreamSim jusqu'à 37 % à nombre de jetons égal. La comparaison ne porte que sur ce seul jeu. Mesures des auteurs, d'après le résumé ; l'article n'est pas lu en entier.