Hugging Face 发布 Ultimate MoE 训练手册，基于约 50 万 GPU 小时
Nouamane Tazi 团队记录 Alps GH200 上 Megatron-LM MoE 设置、serving 与 RL；Space 含 50 余幅交互图。
为何重要
混合专家模型已占据许多开源榜，但公开训练配方仍稀缺。Hugging Face 手册把 CSCS Alps 上约 50 万 GPU 小时写成 Megatron-LM 运行手册，覆盖专家数、路由、通信与强化学习，并附脚本、推荐参数与五十余幅交互图。关注实验室是否采用这些参数，以及 serving 章节是否改变中等规模 MoE 部署。
要点
- Alps GH200（CSCS）约 50 万 GPU 小时
- 含脚本与参数的 Megatron-LM MoE 手册
- Hugging Face Space 上 50 余幅交互图
- 覆盖 profiling、集群训练、serving 与 RL
- @Nouamanetazi 于 2026-11-05 18:39Z 宣布