Baidu open-source ERNIE 5.5 Flash Base, un checkpoint MoE de pré-entraînement 280B-A14B
Pré-entraîné from scratch sur 33,5T tokens jusqu'à 128K de contexte (1M en fine-tune/inférence) ; Baidu annonce un MMLU de 93,3 face aux bases comparables, poids FP8 et BF16 sur Hugging Face.
Pourquoi c’est important
Publier le checkpoint de fin de pré-entraînement, pas un modèle chat, laisse labs et startups faire leur mid-training et RL plutôt que de partir d'un modèle instruction. Le MoE sparse 280B-A14B à attention hybride compressée vise un entraînement ultérieur bon marché et le long contexte ; le tableau Baidu le place devant DeepSeek-V4-Flash-Base et d'autres sur MMLU et plusieurs tests code. Licence et fine-tunes communautaires face à ERNIE 5.5 Flash post-entraîné restent à suivre.
Faits clés
- 280B paramètres au total, 14B activés par token
- Pré-entraîné from scratch sur 33,5T tokens
- Contexte d'entraînement jusqu'à 128K ; fine-tune/inférence jusqu'à 1M
- Poids de fin de pré-entraînement, sans mid ni post
- Baidu annonce MMLU 93,3 face aux bases pairs
- Safetensors FP8 et BF16 sur Hugging Face et ModelScope