Vision et vidéosurveillance

L'article propose un modèle qui prend une seule image d'une caméra quelconque, sténopé, fisheye ou panorama, et prédit pour chaque pixel une direction de rayon et une distance à l'échelle près, ce qui donne un nuage de points. Il n'exige ni paramètres intrinsèques ni type de caméra. Selon les auteurs, il obtient les meilleurs résultats sur plusieurs configurations de caméra, y compris des configurations jamais vues à l'entraînement. Mesures des auteurs ; je n'ai lu que le résumé.

L'article, déposé le 18 octobre et accepté à NeurIPS 2026, reconstruit en 4D les trajectoires 3D d'une vidéo, les projette sur la caméra demandée et s'en sert pour guider un modèle de diffusion vidéo préentraîné. La caméra change, la scène reste la même. Selon les auteurs, la méthode fonctionne avec plusieurs reconstructeurs 4D sans réentraîner le générateur, et passe devant des références qui reçoivent la vraie profondeur et les vraies caméras. Mesures des auteurs ; je n'ai lu que le résumé.

George Kopanas détaille dans un article de blog une réécriture des noyaux CUDA de la passe avant et de la passe arrière du 3D Gaussian Splatting. Il annonce un gain de 10,5 fois par rapport aux noyaux publiés avec la méthode d'origine. Le chiffre est le sien et porte sur ces noyaux, pas sur un entraînement complet ; je n'ai lu que son message, pas l'article.

SpAItial, la start-up londonienne de Matthias Niessner, lance Echo-3, un modèle qui traite la reconstruction comme une génération conditionnelle : il garde ce que la vidéo a vu et comble ce qui manque. La sortie est du 3DGS photoréaliste, un nuage de points ou un maillage à l'échelle métrique, d'une pièce à un immeuble de plusieurs étages. Il est accessible par une application iPhone et, pour les entreprises, par une API. Les performances annoncées viennent de l'éditeur ; je ne les ai pas vérifiées.

L'article, déposé le 22 octobre, part d'un constat : un modèle vision-langage s'appuie sur des raccourcis textuels et sous-exploite les images de démonstration. Les auteurs construisent MIME, un jeu d'entraînement où la consigne ne dit pas la règle qui relie les images à la réponse, de sorte que le modèle doit la déduire. Selon le résumé, un réglage fin sur MIME gagne 8,1 à 18,0 points de précision sur trois modèles sans nuire aux tâches à une image, et Qwen3-VL-8B ainsi entraîné égale des modèles de pointe dont Claude Opus 5 sur TrueMICL. Leur variante DTAD, qui masque au hasard les étiquettes des démonstrations, les dépasse. Mesures des auteurs ; je n'ai lu que le résumé.

ArtiFixer corrige les zones mal observées d'une reconstruction 3D (par exemple en Gaussian splatting) avec un modèle de diffusion vidéo auto-régressif. La page du projet, pour SIGGRAPH 2026, annonce 1 à 3 dB de PSNR de mieux que les méthodes antérieures sur des jeux de vues éparses, avec la version d'origine. Le message ne présente que la variante plus petite : 8 milliards de paramètres pour la génération, une qualité « presque » égale à celle de la version fondée sur Wan 2.1 14B, une inférence 3 à 4 fois plus rapide et environ moitié moins de mémoire GPU. Je n'ai vu aucun chiffre de qualité propre à cette variante. Mesures des auteurs.

L'article, déposé le 11 octobre, part des tokeniseurs adaptatifs, qui donnent à chaque image un nombre de jetons selon une erreur de reconstruction mesurée en pixels. GIST y ajoute une erreur sémantique, mesurée dans l'espace de caractéristiques d'un encodeur DINOv3 gelé : la fixer à zéro permet de relâcher le détail des pixels en gardant ce que l'image montre. Sur ImageNet-100, face à KARL, son équivalent contrôlé par les pixels, il réduit la mesure LPIPS jusqu'à 30 % et DreamSim jusqu'à 37 % à nombre de jetons égal. La comparaison ne porte que sur ce seul jeu. Mesures des auteurs, d'après le résumé ; l'article n'est pas lu en entier.

L'article, déposé le 13 octobre, réunit dans un seul modèle génératif deux familles de simulateurs LiDAR : celles qui reconstruisent une scène capturée, au prix d'une optimisation par scène, et celles qui génèrent sans cohérence à long terme. Selon les indices fournis (début de séquence, carte HD, cache spatial, texte), le modèle crée un monde, prédit les nuages de points suivants ou rejoue une scène observée. Il tourne à 11 images par seconde sur un GPU H100 et accepte des capteurs de 32, 64 et 128 faisceaux. La page du projet donne une distance de Chamfer de reconstruction de 0,115 contre 0,297 pour LiDM (plus bas est mieux). Mesures des auteurs ; je n'ai lu que le résumé.

Selon la page du projet, la version 0.1 est précoce et son interface changera. Elle suit la caméra à partir de points ORB, en monoculaire ou en stéréo, avec ou sans centrale inertielle, affine la carte par ajustement de faisceaux, corrige la dérive par reconnaissance de lieux et lit les jeux EuRoC et Hilti ou des caméras OAK-D en direct. La licence est Apache-2.0. Dans un simulateur de drone, un décalage de 16 ms dans l'horodatage a rendu la stéréo avec centrale pire que la stéréo seule (9,7 m d'erreur sur 440 m contre 5,7 m) ; corrigé, il tombe à 2,1 m. Je n'ai vu aucun score sur les jeux publics. Mesures du projet, qui vend aussi des audits d'intégration.

Roboflow publie ce banc, mis à jour le 13 octobre : Gemini 4 Argon y a 87,5 %, pour 0,0058 $ par échantillon, GPT-6 Astra 83,4 % pour 0,034 $, Muse Wonder 78,8 % (9ᵉ) et GPT-6 Luna 69,7 % (21ᵉ). Le score est la moyenne de cinq tâches (détection, comptage, identification, texte, raisonnement) au réglage d'effort faible ; l'écart de coût de 4 fois annoncé vaut pour l'effort élevé, que je n'ai pas vérifié. Comptage, identification et raisonnement sont jugés par un modèle Gemini, et la page ne dit ni les jeux d'images ni leur nombre. Mesures d'un éditeur qui vend de la vision.

Le message résume l'article, déposé le 8 octobre. Selon son résumé, les données vont de 300 à 30 000 heures (plus de 1 000 types de scènes, 14 000 contributeurs). Elles améliorent la fidélité de l'agent comme celle des objets, mais la seconde reste nettement plus faible et progresse lentement. Une supervision qui reporte la capacité de l'apparence de la scène vers la dynamique des objets améliore les objets sans combler l'écart. Les conclusions se transfèrent à la modélisation d'humanoïdes. Mesures des auteurs ; je n'ai lu que le résumé.

Selon la page du projet, l'alignement est grossier : des classes d'embeddings sont appariées par leurs distances, puis une rotation unique est affinée. Avec 20 paires ou moins, l'erreur est 14 à 28 fois inférieure à celle de la meilleure des sept méthodes supervisées comparées. La qualité varie selon les modèles et les légendes : avec Qwen3 en génération sur de longues légendes, le résultat reste proche du hasard. Face aux méthodes spécialisées, elle est seulement compétitive. Mesures des auteurs ; l'article (arXiv 2610.09411) n'est pas lu.

Les auteurs, d'Applied Intuition, de Purdue, de l'Illinois et de Berkeley, découpent la scène en blocs dont la taille croît avec la distance, les génèrent l'un après l'autre en réutilisant des latents qui se recouvrent, et conditionnent chaque voxel sur l'image : libre, visible ou masqué. La page du projet compare à World Tracing, GenRecon, VolFill et Lyra 2.0 uniquement en images : ni chiffre, ni métrique. Code et poids sont publiés. Le visualiseur en ligne utilise des maillages simplifiés d'environ 1,5 million de faces, moins fins que ceux de l'article (arXiv 2610.08790, non lu).

D'après la fiche Hugging Face, le modèle, d'environ 36 milliards de paramètres, a été entraîné par SFT sur un jeu synthétique puis par apprentissage par renforcement. Il renvoie un JSON : description générale, arbre d'objets avec boîtes, couleurs et relations, points clés du corps, masques polygonaux, lecture de texte. Il demande environ 70 Go de mémoire GPU. La licence est CC-BY-NC-4.0, donc non commerciale. La fiche ne donne aucun score : l'affirmation « très détaillé » n'est pas mesurée. Un champ comme l'âge ou le genre n'est qu'une estimation visuelle.

Selon la page du banc, un agent de programmation reçoit une vidéo d'un événement physique et doit écrire un programme qui reconstruit la scène en 3D, son mouvement et son rendu, en une seule tentative. Le banc compte 200 tâches, dont 100 vidéos réelles, et classe 18 agents. GPT-6 Astra au réglage maximal est en tête : 0,79 en global, 0,91 sur les mesures statiques mais 0,67 sur les dynamiques. Le mouvement reste le point faible, les scènes réelles sont plus dures que les simulées et les modèles à poids ouverts restent loin derrière. Le juge automatique est peu fiable entre modèles proches. Code et données sont publiés. Mesures des auteurs.

Selon la page du projet, ce modèle d'une seule passe associe reconstruction 3D et suivi de points 3D à partir de photos, de vidéos à caméra mobile ou de flux multi-vues. Pour le suivi, il atteint 88,14 % d'APD moyen sur quatre jeux, contre 83,76 % pour UniQuery4R, le deuxième. Sur la reconstruction (Chamfer 0,0375 m contre 0,0382 pour VGGT-Ω) et la pose de caméra, l'avantage est faible et la page parle de résultats « compétitifs ». Code et poids sont publiés. Mesures des auteurs ; l'article (arXiv 2610.01314) n'est pas lu.

L'article, déposé le 1er octobre, audite 115 bancs d'évaluation vidéo avec cinq niveaux d'attaques par raccourci. Sur 35 d'entre eux, un attaquant qui ne voit aucune image approche la précision obtenue sur la vidéo complète ; sur 51 autres, des images mélangées conservent en médiane 96 % de cette précision ; les questions quasi identiques font au moins la moitié des items de 63 bancs. Les 840 questions retenues viennent de 76 sources. Selon les auteurs, Claude Opus 5 devance chaque modèle à poids ouverts de plus de 37 points et les outils d'agent ajoutent environ 20 points ; la page ne donne ni chiffre par modèle ni score humain. Code et données sont publiés. Mesures des auteurs.

Le modèle, un encodeur d'environ 650 millions de paramètres, s'entraîne par auto-distillation sur des séquences multi-vues, avec des vidéos non annotées ajoutées à des jeux annotés en 3D. D'après la page du projet, avec l'encodeur gelé, la pose relative atteint 62,2 d'AUC@30° sur RE10K, contre 41,5 pour Muskie et 29,1 pour DINOv3 ; sur les nuages de points ETH3D, l'erreur médiane est de 0,75 mm contre 0,88. Les normales sur DTU ne sont pas meilleures que celles de DINOv3 ou de Muskie. Poids et code sont publiés, sans licence indiquée. Le travail associe Chalmers, l'ENPC, Linköping et Bordeaux. Mesures des auteurs ; l'article n'est pas lu.

Selon SDxCentral, l'opération vaut environ 8,2 milliards de dollars, payés entièrement en actions, et doit se conclure d'ici la fin de 2026, sous réserve d'autorisations réglementaires. Fei-Fei Li, cofondatrice de World Labs, deviendrait vice-présidente exécutive et directrice scientifique d'AMD, sous l'autorité de Lisa Su. AMD justifie l'achat par le besoin de mieux comprendre l'évolution des modèles pour orienter ses puces, ses logiciels et ses systèmes. World Labs, fondée en 2024, développe des modèles qui génèrent, reconstruisent et simulent des environnements 3D à partir de texte, d'images ou de vidéos. Le montant vient de la presse ; le message de Johnson n'en parle pas.

Déposé en mai, le modèle applique un seul bloc de transformeur K fois de suite (117 millions de paramètres) pour reconstruire poses de caméra et géométrie à partir de plusieurs vues. La page de NVIDIA le compare à π³ et à Depth Anything 3 sur cinq jeux, avec 8 à 10 fois moins de paramètres et 1,9 à 2,3 fois moins de calcul ; VGGT-Ω, que cite le message, n'y figure que dans des comparaisons en images, sans chiffre. Mesures des auteurs ; l'article n'est pas lu.

Selon la page de NeurIPS, PAISS réunit plus de 280 heures de vidéo 1080p synchronisées, de près de 1 800 caméras, dans des entrepôts, des hôpitaux et des commerces. Les données sont surtout synthétiques (Isaac Sim, apparence retouchée par Cosmos Transfer), avec deux entrepôts réels pour l'évaluation du synthétique vers le réel. Il apporte une version 3D de la mesure de suivi HOTA ; les lignes de base vont du suivi de personnes seules au suivi de boîtes 3D multiclasses. La page ne donne ni résultat chiffré ni licence ; les 800 000 téléchargements sont annoncés par l'auteur.

Les auteurs, de Carnegie Mellon et de Meta, représentent la vidéo comme des trajectoires 3D persistantes dans le repère du monde, ce qui compense le mouvement de la caméra ; un point est suivi dès qu'il apparaît, là où les méthodes antérieures partent de la première image. La page du projet compare à DELTA-v2, CoTracker3 et SpatialTracker-v2 sur des vidéos longues, mais seulement en images : ni chiffre, ni vitesse, et le code est annoncé « bientôt ». Elle reconnaît une dégradation sous mouvement rapide et sur fonds répétitifs ou peu texturés.

Un JEPA est un modèle de monde qui prédit l'embedding de l'image suivante. MotionJEPA lui ajoute un régulariseur qui exige que le changement visuel entre deux images apparaisse dans l'embedding, sans étiquettes d'action. Sur la planification dans quatre environnements, avec une texture de bois en distracteur, la page du projet donne 81,8 % de réussite moyenne à 25 pas contre 77,2 % pour IDM, et 70,3 % contre 59,3 % à 50 pas ; IDM fait mieux sur PushT et sur 2Room. Les concurrents ont reçu une recherche d'hyperparamètres par environnement, pas MotionJEPA, et les tests de sondage portent sur trois jeux synthétiques. Mesures des auteurs.