MBZUAIs IFM veröffentlicht PAN 2, ein offenes Weltmodell mit 29 Mrd. Parametern, das Folgen von Aktionen simuliert
Ein Sprachmodell beschreibt zeitlich verankert, was als Nächstes passiert, ein von Grund auf trainiertes 29-Mrd.-Diffusionsmodell rendert es als Video bis 20 Sekunden; Gewichte und Code unter Apache 2.0.
Warum es wichtig ist
Weltmodelle, mit denen ein Agent Handlungen vorab durchspielen kann, sind eine zentrale Wette für Robotik und physische KI, und die meisten starken Videomodelle sind geschlossen. PAN 2 teilt die Arbeit: Ein multimodales Sprachmodell bestimmt, was wann passiert, das Diffusionsmodell liefert die visuellen Details, sodass sich jede Vorhersage mit echten Aufnahmen abgleichen lässt. Es nutzt den Textencoder Qwen3.5-9B und das VAE von Wan 2.2 und läuft in Diffusers und vLLM. Abzuwarten sind das angekündigte vollständige Paper und unabhängige Tests der Planungsfähigkeiten.
Die wichtigsten Fakten
- Entwickelt vom Institute of Foundation Models (IFM) der MBZUAI
- 29-Mrd.-MMDiT, von Grund auf mit Hunderten Millionen Videos trainiert
- Video 704x1248 bei 24 fps, bis 20 Sekunden
- Textencoder Qwen3.5-9B; VAE von Wan 2.2
- Gewichte, Trainings- und Inferenzcode unter Apache 2.0
- Unterstützt in Diffusers und vLLM