Hugging Face publica el Ultimate MoE Training Handbook tras ~500 mil horas GPU
El equipo de Nouamane Tazi documenta ajustes MoE de Megatron-LM, serving y RL en Alps GH200; el Space incluye más de 50 figuras interactivas.
Por qué importa
Los modelos Mixture-of-Experts lideran muchas tablas abiertas, pero las recetas públicas siguen escasas. El manual de Hugging Face convierte unas 500.000 horas GPU en Alps (CSCS) en un runbook Megatron-LM sobre expertos, routers, comunicación y RL. Incluye scripts, flags y más de cincuenta figuras interactivas. Habrá que ver si los labs adoptan las flags y si la sección de serving cambia el despliegue de MoE medianos.
Datos clave
- ~500 mil horas GPU en Alps GH200 (CSCS)
- Runbook MoE Megatron-LM con scripts y flags
- Más de 50 figuras interactivas en Space de Hugging Face
- Cubre profiling, entrenamiento en clúster, serving y RL
- Anunciado por @Nouamanetazi 2026-11-05 18:39Z