MBZUAIのIFM、行動の結果を模擬する290億パラメータのオープン世界モデル「PAN 2」を公開

言語モデルが次に起きることを時間付きで記述し、ゼロから学習した290億パラメータの拡散モデルが最長20秒の動画にする。重みと学習・推論コードはApache 2.0で公開。
なぜ重要か
行動前に候補を予行演習できる世界モデルはロボティクスとフィジカルAIの中心的な賭けで、強力な動画モデルの多くはクローズドだ。PAN 2は役割を分け、マルチモーダル言語モデルが何がいつ起きるかを決め、拡散モデルが視覚的な細部を補うため、予測を実際の映像と照合できる。テキストエンコーダーにQwen3.5-9B、VAEにWan 2.2を使い、DiffusersとvLLMで動く。IFMが予告する完全な論文と、計画能力の独立検証が焦点だ。
要点
- MBZUAIのInstitute of Foundation Models(IFM)が開発
- 数億本の動画でゼロから学習した290億パラメータのMMDiT
- 出力は704x1248・24fps、最長20秒
- テキストエンコーダーQwen3.5-9B、VAEはWan 2.2
- 重みと学習・推論コードをApache 2.0で公開
- DiffusersとvLLMに対応