百度开源ERNIE 5.5 Flash Base：280B总参、每token激活14B的预训练MoE权重
从零预训练于33.5T token，训练上下文最高128K（微调/推理支持1M）；百度称同规模基座中MMLU达93.3，FP8与BF16权重已上Hugging Face。
为何重要
发布预训练终点权重而非对话微调模型，便于实验室和创业公司自行做中期训练与强化学习，而不必从指令模型起步。280B-A14B稀疏MoE与混合压缩注意力面向更便宜的继续训练和长上下文；百度同规模基座表显示其在MMLU与多项代码测试上领先DeepSeek-V4-Flash-Base等。许可限制以及社区微调能否追平后训练版ERNIE 5.5 Flash，是下一步观察点。
要点
- 总参280B，每token激活14B
- 从零预训练于33.5T token
- 训练上下文最高128K；微调/推理最高1M
- 预训练终点权重，未经中期或后训练
- 百度称同规模基座MMLU 93.3
- Hugging Face与ModelScope提供FP8与BF16 safetensors