Recherche
Annonce · 9 octobre 2026
Des modèles d'image et de texte alignés sans aucune légende appariée
DINOv2 has never seen a caption, and Qwen3 has never seen an image. We still aligned their embedding spaces without a single image-caption pair. It even works when the images and the captions come from different datasets.
This is a result I've dreamt about for many years: *unpaired translation between images and text*
Selon la page du projet, l'alignement est grossier : des classes d'embeddings sont appariées par leurs distances, puis une rotation unique est affinée. Avec 20 paires ou moins, l'erreur est 14 à 28 fois inférieure à celle de la meilleure des sept méthodes supervisées comparées. La qualité varie selon les modèles et les légendes : avec Qwen3 en génération sur de longues légendes, le résultat reste proche du hasard. Face aux méthodes spécialisées, elle est seulement compétitive. Mesures des auteurs ; l'article (arXiv 2610.09411) n'est pas lu.