Hugging Face publica Ultimate MoE Training Handbook após ~500 mil horas de GPU
A equipe de Nouamane Tazi documenta ajustes MoE do Megatron-LM, serving e RL em Alps GH200; o Space traz mais de 50 figuras interativas.
Por que importa
Modelos Mixture-of-Experts lideram muitos rankings abertos, mas receitas públicas seguem raras. O manual da Hugging Face transforma cerca de 500 mil horas GPU no Alps (CSCS) em runbook Megatron-LM sobre especialistas, roteadores, comunicação e RL. Traz scripts, flags e mais de cinquenta figuras. Observar adoção das flags e efeito do serving em MoEs médios.
Fatos principais
- ~500 mil horas GPU no Alps GH200 (CSCS)
- Runbook MoE Megatron-LM com scripts e flags
- Mais de 50 figuras interativas no Space da Hugging Face
- Cobre profiling, treino em cluster, serving e RL
- Anunciado por @Nouamanetazi 2026-11-05 18:39Z