China Telecom تكشف نموذج Xing 4 بـ285 مليار معامل دُرّب مسبقًا على 8192 شريحة Huawei Ascend 910C

ينشر التقرير الفني أيضًا نموذجًا مفتوحًا بـ29 مليار معامل دُرّب بالكامل على Ascend باستخدام MindSpore، ويقدم قياسات أنظمة لا مقارنات مباشرة مع النماذج الأمريكية الرائدة.
لماذا يهم
تُدرَّب معظم النماذج المفتوحة الكبيرة على وحدات Nvidia؛ ويوثق هذا التقرير نموذج خليط خبراء بـ285 مليار معامل دُرّب مسبقًا على شرائح Huawei Ascend 910C بإطار MindSpore بالتعاون مع Huawei. ويكتسب ذلك أهمية مع تشديد القواعد الأمريكية وصول المطورين الصينيين إلى المسرّعات الأمريكية. يركز التقرير على هندسة الأنظمة لا على مقارنات واسعة مع النماذج الأمريكية الرائدة. يبقى ترقب إصدار نماذج Xing 4 الأكبر ونتائجها في اختبارات مستقلة.
حقائق رئيسية
- نموذج MoE بـ285 مليار معامل، 17 مليارًا نشطة لكل رمز، وسياق مليون رمز
- دُرّب مسبقًا على 8192 بطاقة Ascend 910C
- نُشر مفتوحًا Xing4.0-29B-A4B: 29 مليارًا إجمالًا و4 مليارات نشطة وسياق 256K
- بقيادة مختبر Xingchen AGI في China Telecom مع Huawei ومعهد هاربين (شنتشن)
- إنتاجية ملء مسبق تصل إلى 4.68 ضعف خط أساس MLA فقط