Ai2 open-source ToyBlocks pour des expériences contrôlées d’apprentissage robotique
Blog Hugging Face : simu table FoundationWorld avec démos auto, 85 336 démonstrations long horizon, modèles Molmo 2 + ManiFlow, et 50 % de succès sim-to-real en orthographe sur un bras Franka.
Pourquoi c’est important
ToyBlocks est le premier FoundationWorld d’Ai2 : un domaine étroit blocs-et-bras pour rendre les échecs d’apprentissage robotique traçables en contrôlant données et évaluations. La sortie inclut générateurs, assets, code d’entraînement et d’évaluation, et deux modèles entraînés. Les premiers tests de généralisation VLA étaient faibles jusqu’à des astuces de fine-tuning ; Molmo 2 + ManiFlow hiérarchique a transféré sur un Franka physique avec des taux de skill proches de la simu. À suivre : plus grand dataset et RL intégré promis.
Faits clés
- Publié sur le blog Hugging Face 2026-11-06T14:00:48Z
- 85 336 démonstrations long horizon (~1 600 h, 144M frames)
- Planificateur Molmo2-4B-tb + contrôle bas niveau ManiFlow-tb
- Système hiérarchique 50 % de succès en orthographe sur Franka physique (15/30)
- Skills atomiques ManiFlow ~80 % sim et ~81 % réel