O IFM do MBZUAI lança PAN 2, modelo de mundo aberto de 29 bilhões de parâmetros que simula o resultado de ações
Um modelo de linguagem descreve com tempos o que acontece a seguir e um modelo de difusão de 29 bilhões treinado do zero o renderiza em vídeo de até 20 segundos; pesos e código sob Apache 2.0.
Por que importa
Modelos de mundo que permitem a um agente ensaiar ações antes de agir são uma aposta central da robótica e da IA física, e a maioria dos bons modelos de vídeo é fechada. O PAN 2 divide o trabalho: um modelo de linguagem multimodal define o que acontece e quando, e o modelo de difusão fornece o detalhe visual, de modo que cada previsão pode ser comparada a imagens reais. Usa o codificador de texto Qwen3.5-9B e o VAE do Wan 2.2 e roda no Diffusers e no vLLM. Resta ver o artigo completo prometido pelo IFM e testes independentes do planejamento.
Fatos principais
- Desenvolvido pelo Institute of Foundation Models (IFM) do MBZUAI
- MMDiT de 29 bilhões treinado do zero com centenas de milhões de vídeos
- Vídeo 704x1248 a 24 fps, até 20 segundos
- Codificador Qwen3.5-9B; VAE do Wan 2.2
- Pesos e código de treino e inferência sob Apache 2.0
- Compatível com Diffusers e vLLM