Hugging Face publie l’Ultimate MoE Training Handbook après ~500 000 heures GPU
L’équipe de Nouamane Tazi documente les réglages MoE Megatron-LM, le serving et le RL sur Alps GH200 ; le Space inclut plus de 50 figures interactives.
Pourquoi c’est important
Les modèles Mixture-of-Experts mènent beaucoup de classements ouverts, mais les recettes publiques restent rares. Le manuel Hugging Face transforme environ 500 000 heures GPU sur Alps (CSCS) en runbook Megatron-LM sur experts, routeurs, communication et RL. Il fournit scripts, flags et plus de cinquante figures. À surveiller : adoption des flags et effet du serving sur les MoE moyens.
Faits clés
- ~500 000 heures GPU sur Alps GH200 (CSCS)
- Runbook MoE Megatron-LM avec scripts et flags
- Plus de 50 figures interactives sur le Space Hugging Face
- Couvre profiling, entraînement cluster, serving et RL
- Annoncé par @Nouamanetazi 2026-11-05 18:39Z