L'IFM du MBZUAI publie PAN 2, un modèle du monde ouvert de 29 milliards de paramètres qui simule l'issue des actions
Un modèle de langage décrit, avec sa chronologie, ce qui se passe ensuite et un modèle de diffusion de 29 milliards entraîné de zéro le rend en vidéo jusqu'à 20 secondes ; poids et code sous Apache 2.0.
Pourquoi c’est important
Les modèles du monde qui permettent à un agent de répéter des actions avant d'agir sont un pari central de la robotique et de l'IA physique, et la plupart des bons modèles vidéo sont fermés. PAN 2 répartit le travail : un modèle de langage multimodal détermine ce qui se passe et quand, le modèle de diffusion fournit le détail visuel, si bien que chaque prédiction peut être confrontée à des images réelles. Il utilise l'encodeur texte Qwen3.5-9B et le VAE de Wan 2.2 et tourne dans Diffusers et vLLM. À suivre : l'article complet promis par l'IFM et des tests indépendants de ses capacités de planification.
Faits clés
- Développé par l'Institute of Foundation Models (IFM) du MBZUAI
- MMDiT de 29 milliards entraîné de zéro sur des centaines de millions de vidéos
- Vidéo 704x1248 à 24 i/s, jusqu'à 20 secondes
- Encodeur Qwen3.5-9B ; VAE de Wan 2.2
- Poids et code d'entraînement et d'inférence sous Apache 2.0
- Compatible Diffusers et vLLM