Hugging Face تنشر Ultimate MoE Training Handbook بعد نحو 500 ألف ساعة GPU
يوثّق فريق Nouamane Tazi إعدادات MoE في Megatron-LM والخدمة وRL على Alps GH200؛ ويضم الـ Space أكثر من 50 شكلاً تفاعلياً.
لماذا يهم
تهيمن نماذج Mixture-of-Experts على كثير من التصنيفات المفتوحة، لكن الوصفات العامة نادرة. يحوّل دليل Hugging Face نحو نصف مليون ساعة GPU على Alps لدى CSCS إلى دليل Megatron-LM عن الخبراء والموجّهات والاتصال وRL، مع سكربتات وأعلام وأكثر من خمسين شكلاً. راقب تبنّي المختبرات وأثر قسم الخدمة على نشر MoE متوسط الحجم.
حقائق رئيسية
- نحو 500 ألف ساعة GPU على Alps GH200 (CSCS)
- دليل MoE لـ Megatron-LM مع سكربتات وأعلام
- أكثر من 50 شكلاً تفاعلياً على Space في Hugging Face
- يغطي التحليل والتدريب العنقودي والخدمة وRL
- أعلنه @Nouamanetazi في 2026-11-05 18:39Z