Baidu stellt ERNIE 5.5 Flash Base als Open-Weight-MoE-Checkpoint 280B-A14B bereit
Von Grund auf auf 33,5T Tokens mit bis zu 128K Kontext (1M für Fine-Tune/Inferenz); Baidu nennt MMLU 93,3 unter Peer-Base-Modellen, FP8- und BF16-Gewichte auf Hugging Face.
Warum es wichtig ist
Das reine Pretraining-Checkpoint statt eines Chat-Modells erlaubt Labs und Startups eigenes Mid-Training und RL. Das sparse MoE 280B-A14B mit hybrider komprimierter Attention zielt auf günstiges Weitertrainieren und langen Kontext; Baidus Peer-Tabelle führt es vor DeepSeek-V4-Flash-Base und anderen bei MMLU und mehreren Code-Tests. Lizenzgrenzen und ob Community-Fine-Tunes den Abstand zum nachtrainierten ERNIE 5.5 Flash schließen, sind die nächsten Checks.
Die wichtigsten Fakten
- 280B Gesamtparameter, 14B aktiviert pro Token
- Von Grund auf auf 33,5T Tokens vortrainiert
- Trainingskontext bis 128K; Fine-Tune/Inferenz bis 1M
- Pretraining-Ende-Gewichte, kein Mid-/Post-Training
- Baidu nennt MMLU 93,3 gegenüber Peer-Bases
- FP8- und BF16-Safetensors auf Hugging Face und ModelScope