Hugging Face、約50万GPU時間に基づくUltimate MoE Training Handbookを公開

なぜ重要か

Mixture-of-Expertsモデルは公開ランキングをリードするが、公開レシピは少ない。Hugging FaceのハンドブックはCSCS Alpsでの約50万GPU時間を、専門家数・ルータ・通信・RLのMegatron-LMランブックにした。スクリプト、推奨フラグ、50超の図を同梱する。フラグ採用とserving節が中規模MoE配備を変えるかを見る。