Robbyant, filiale d'Ant Group, publie en open source LingBot-Touch, un modèle de fondation tactile pour mains robotiques
Le modèle a été préentraîné sur 4 983 heures d'enregistrements magnétiques, piézorésistifs et visuotactiles et publié avec des poids sous licence Apache-2.0 ; les gains sur 26 tâches de robots réels sont les résultats de l'entreprise, pas encore reproduits de façon indépendante.
Pourquoi c’est important
La plupart des modèles de fondation pour robots apprennent de la vision et du langage, alors que les données tactiles proviennent de nombreux capteurs incompatibles. LingBot-Touch ramène trois types de capteurs vers un même Transformer partagé grâce à des tokeniseurs distincts, et Robbyant affirme qu'il se transfère à du matériel tactile jamais vu au préentraînement. Selon l'entreprise, sur deux mains dextres, les quatre politiques d'action testées ont obtenu leurs meilleurs résultats avec les jetons LingBot-Touch plutôt qu'avec des signaux bruts ou sans toucher. À suivre : une reproduction par des laboratoires externes et la publication du code d'inférence distribué à part.
Faits clés
- Préentraînement : 4 983 heures, 464 431 épisodes, environ 1,33 milliard d'images
- Capteurs : magnétiques, piézorésistifs et visuotactiles
- Plus petit réseau : 5,46 M de paramètres (HaT-Tiny)
- Testé sur 26 tâches dextres réelles, 20 essais chacune
- Poids publiés sous licence Apache-2.0 sur Hugging Face