AR ▾
SNAPE REP RT الصفحة الأولى ←
مؤكدالحوسبة18 نوفمبر، 05:02 ص UTC

China Telecom تكشف نموذج Xing 4 بـ285 مليار معامل دُرّب مسبقًا على 8192 شريحة Huawei Ascend 910C

Architecture diagram of the 285B-parameter Xing 4 mixture-of-experts model
Xingchen AGI Lab, China Telecom (arXiv)

ينشر التقرير الفني أيضًا نموذجًا مفتوحًا بـ29 مليار معامل دُرّب بالكامل على Ascend باستخدام MindSpore، ويقدم قياسات أنظمة لا مقارنات مباشرة مع النماذج الأمريكية الرائدة.

اقرأ في Xingchen AGI Lab, China Telecom (arXiv) مشاركة

لماذا يهم

تُدرَّب معظم النماذج المفتوحة الكبيرة على وحدات Nvidia؛ ويوثق هذا التقرير نموذج خليط خبراء بـ285 مليار معامل دُرّب مسبقًا على شرائح Huawei Ascend 910C بإطار MindSpore بالتعاون مع Huawei. ويكتسب ذلك أهمية مع تشديد القواعد الأمريكية وصول المطورين الصينيين إلى المسرّعات الأمريكية. يركز التقرير على هندسة الأنظمة لا على مقارنات واسعة مع النماذج الأمريكية الرائدة. يبقى ترقب إصدار نماذج Xing 4 الأكبر ونتائجها في اختبارات مستقلة.

حقائق رئيسية

  • نموذج MoE بـ285 مليار معامل، 17 مليارًا نشطة لكل رمز، وسياق مليون رمز
  • دُرّب مسبقًا على 8192 بطاقة Ascend 910C
  • نُشر مفتوحًا Xing4.0-29B-A4B: 29 مليارًا إجمالًا و4 مليارات نشطة وسياق 256K
  • بقيادة مختبر Xingchen AGI في China Telecom مع Huawei ومعهد هاربين (شنتشن)
  • إنتاجية ملء مسبق تصل إلى 4.68 ضعف خط أساس MLA فقط

المصادر

المزيد عن الحوسبة
المزيد من Snape Reportالصفحة الأولى ←