Hugging Face veröffentlicht Ultimate MoE Training Handbook nach ~500.000 GPU-Stunden
Nouamane Tazis Team dokumentiert Megatron-LM-MoE-Einstellungen, Serving und RL auf Alps-GH200; das Space liefert über 50 interaktive Figuren.
Warum es wichtig ist
Mixture-of-Experts-Modelle führen viele offene Rankings an, öffentliche Rezepte bleiben rar. Hugging Faces Handbuch macht rund eine halbe Million GPU-Stunden auf Alps (CSCS) zu einem Megatron-LM-Runbook zu Experten, Routern, Kommunikation und RL. Es liefert Skripte, Flags und über fünfzig Figuren. Beobachten, ob Labs die Flags übernehmen und Serving mittlere MoEs verändert.
Die wichtigsten Fakten
- ~500.000 GPU-Stunden auf Alps GH200 (CSCS)
- Megatron-LM-MoE-Runbook mit Skripten und Flags
- Über 50 interaktive Figuren im Hugging-Face-Space
- Deckt Profiling, Cluster-Training, Serving und RL ab
- Angekündigt von @Nouamanetazi 2026-11-05 18:39Z