Baidu abre el código de ERNIE 5.5 Flash Base, un checkpoint MoE de preentrenamiento 280B-A14B
Entrenado desde cero con 33,5T tokens y hasta 128K de contexto (1M en fine-tune/inferencia); Baidu cita MMLU 93,3 frente a bases pares, con pesos FP8 y BF16 en Hugging Face.
Por qué importa
Publicar el checkpoint de fin de preentrenamiento, no un modelo chat, permite a labs y startups hacer mid-training y RL propios en lugar de partir de un modelo de instrucciones. El MoE disperso 280B-A14B con atención comprimida híbrida busca abaratir el entrenamiento posterior y el contexto largo; la tabla de Baidu lo sitúa por delante de DeepSeek-V4-Flash-Base y otros en MMLU y varias pruebas de código. Licencia y si los fine-tunes de la comunidad cierran la brecha con el ERNIE 5.5 Flash postentrenado son lo siguiente.
Datos clave
- 280B parámetros totales, 14B activados por token
- Preentrenado desde cero con 33,5T tokens
- Contexto de entrenamiento hasta 128K; fine-tune/inferencia hasta 1M
- Pesos de fin de preentrenamiento, sin mid ni post
- Baidu cita MMLU 93,3 frente a bases pares
- Safetensors FP8 y BF16 en Hugging Face y ModelScope