Rohan Anil من CoreAuto يدرّب نموذج MoE متفرقاً عبر مجموعتين متباعدتين بنصف العالم بوصلة 25 Gbps
اختلفت المجموعتان في الحجم ونوع وحدات GPU؛ وتفيد التدوينة أيضاً بأن طريقة butterfly mixing، التي تستبدل all-reduce بتبادلات ثنائية بين ثمانية متعلمين، طابقت التدريب القياسي.
لماذا يهم
يفترض التدريب المتقدم عادةً مجموعة حوسبة واحدة كبيرة في موقع واحد، لكن الطاقة ومعدات الشبكة الكهربائية والأراضي هي أبرز قيود مراكز البيانات الجديدة، لذا تتوزع سعة كبيرة من وحدات GPU على مواقع أصغر. وتدعو هذه التدوينة إلى خوارزميات تعلم مصممة لاستخدام جزر الحوسبة هذه معاً، وتعرض تشغيلاً فعلياً عبر مجموعتين مختلفتين جداً. إنها مدونة شركة ناشئة لا ورقة محكّمة. يبقى أن نرى هل يتوسع النهج إلى أكثر من موقعين ونماذج أكبر.
حقائق رئيسية
- تدريب نموذج خليط خبراء متفرق عبر مجموعتين
- مجموعتان مختلفتان في الحجم ونوع وحدات GPU
- موقعان يفصل بينهما نحو نصف العالم
- وصلة ثنائية الاتجاه بسرعة 25 Gbps
- طابقت طريقة butterfly mixing بتبادلات ثنائية بين ثمانية متعلمين التدريب القياسي