百度、ERNIE 5.5 Flash Baseを公開——280B総パラ・トークンあたり14B起動の事前学習MoE
33.5Tトークンから事前学習、訓練文脈最大128K（微调・推論は1M）。同規模ベースでMMLU 93.3と公表、FP8/BF16重みをHugging Faceに公開。
なぜ重要か
チャット調整済みではなく事前学習終了チェックポイントを出すことで、研究室やスタートアップが指示モデルからではなく独自の中間学習・RLを回せる。280B-A14BスパースMoEとハイブリッド圧縮注意は安価な追加学習と長文脈向け。Baiduの同規模表ではMMLUや複数のコード指標でDeepSeek-V4-Flash-Base等を上回る。ライセンス制約と、コミュニティ微调が後訓練版ERNIE 5.5 Flashとの差を埋めるかが次の焦点。
要点
- 総パラメータ280B、トークンあたり起動14B
- 33.5Tトークンから事前学習
- 訓練文脈最大128K、微调・推論は最大1M
- 事前学習終了重み、中間・後訓練なし
- Baiduは同規模ベースでMMLU 93.3と報告
- Hugging FaceとModelScopeにFP8/BF16 safetensors