Baidu libera ERNIE 5.5 Flash Base, checkpoint MoE de pré-treino 280B-A14B
Pré-treinado do zero em 33,5T tokens com até 128K de contexto (1M em fine-tune/inferência); Baidu cita MMLU 93,3 entre bases pares, com pesos FP8 e BF16 no Hugging Face.
Por que importa
Liberar o checkpoint de fim do pré-treino, não um modelo de chat, permite labs e startups fazer mid-training e RL próprios em vez de partir de um modelo de instrução. O MoE esparso 280B-A14B com atenção híbrida comprimida mira treino posterior barato e contexto longo; a tabela da Baidu o coloca à frente de DeepSeek-V4-Flash-Base e outros em MMLU e vários testes de código. Limites de licença e se fine-tunes da comunidade fecham a lacuna com o ERNIE 5.5 Flash pós-treinado são os próximos testes.
Fatos principais
- 280B parâmetros totais, 14B ativados por token
- Pré-treinado do zero em 33,5T tokens
- Contexto de treino até 128K; fine-tune/inferência até 1M
- Pesos de fim do pré-treino, sem mid nem post
- Baidu cita MMLU 93,3 frente a bases pares
- Safetensors FP8 e BF16 no Hugging Face e ModelScope