Runway publie Praxis-1, un modèle ouvert de 27 milliards de paramètres pour piloter des robots, en tête du classement RoboLab-120 de NVIDIA
Ce modèle d'action du monde prédit à la fois la vidéo et les actions du robot ; poids, code d'inférence et de fine-tuning sont publiés sous Apache 2.0, y compris pour un usage commercial.
Pourquoi c’est important
La plupart des politiques ouvertes pour robots reposent sur des données de téléopération, lentes et coûteuses à collecter. Praxis-1 s'appuie sur le pré-entraînement vidéo à grande échelle de Runway, qui affirme que la vidéo du web vaut la vidéo de robots téléopérés comme donnée de pré-entraînement : le goulot d'étranglement devient la quantité de vidéo générale qu'un modèle peut apprendre. La publication des poids et du code sous Apache 2.0 permet à toute équipe de l'adapter à son matériel. Il devance FLUX 3 Action, Cosmos3 Nano et π0.5 sur RoboLab-120 de NVIDIA. Reste à voir des résultats indépendants sur d'autres robots.
Faits clés
- Transformeur de diffusion à mélange d'experts de 27 milliards de paramètres
- 46,2 % de réussite sur RoboLab-120 sur 1 200 épisodes
- FLUX 3 Action 42,9 %, Cosmos3 Nano 36,8 %, π0.5 28,0 %
- Poids et code sous Apache 2.0, usage commercial autorisé
- Affiné sur RT-1 : 80,0 % sur SimplerEnv contre 52,4 % pour la politique d'origine
- Partenaires de lancement : Noble Machines, Standard Bots et Ultra