Des chercheurs de Panasonic, UC Berkeley, Nvidia et Stanford présentent T-Rex, un modèle robotique qui réagit au toucher du bout des doigts

Le modèle vision-langage-action planifie à environ 5 Hz et corrige au toucher à environ 20 Hz ; Panasonic dit qu'il a battu d'autres méthodes sur 12 tâches réelles avec contact, selon sa propre évaluation.
Pourquoi c’est important
La plupart des modèles vision-langage-action guident les robots surtout à partir d'images et traitent le toucher comme une donnée statique, ce qui complique le contrôle fin de la force. T-Rex répartit le travail : un module lent planifie à partir de la vision et du langage, un module rapide lit les capteurs du bout des doigts et ajuste la prise en temps réel, pour détecter glissements ou pressions excessives sans relancer la reconnaissance d'image. Les tâches comprenaient tourner des pages, déplacer des œufs, tourner une clé et visser une ampoule. Panasonic vise l'usine et la logistique ; à suivre : la réplication indépendante des résultats publiés sur arXiv.
Faits clés
- Planification vision-langage à environ 5 Hz
- Correction tactile à environ 20 Hz
- Données sur plus de 200 objets du quotidien
- Évalué sur 12 tâches réelles avec contact
- Partenaires : UC Berkeley, Nvidia, Stanford, université Sapienza de Rome, ItalAI