بايدو تفتح أوزان ERNIE 5.5 Flash Base، نقطة تفتيش MoE بـ280B إجمالي و14B مفعّلة
دُرّب من الصفر على 33.5 تريليون رمز بسياق حتى 128K (و1M للضبط/الاستدلال)؛ وتقول بايدو إن MMLU بلغ 93.3 بين النماذج الأساسية المماثلة، مع أوزان FP8 وBF16 على Hugging Face.
لماذا يهم
إصدار نقطة تفتيش نهاية ما قبل التدريب لا نموذجاً محادثياً يتيح للمختبرات والشركات الناشئة إجراء التدريب الوسيط والتعلم المعزز بنفسها بدل البدء من نموذج تعليمات. وMoE المتناثر 280B-A14B مع الانتباه المضغوط الهجين يستهدف تدريباً لاحقاً أرخص وسياقاً طويلاً؛ وجدول بايدو يضعه أمام DeepSeek-V4-Flash-Base وغيره في MMLU واختبارات برمجة. قيود الترخيص وما إذا كانت ضبطات المجتمع تسد الفجوة مع ERNIE 5.5 Flash بعد التدريب هما الاختباران التاليان.
حقائق رئيسية
- 280B معلمة إجمالاً و14B مفعّلة لكل رمز
- دُرّب من الصفر على 33.5 تريليون رمز
- سياق التدريب حتى 128K والضبط/الاستدلال حتى 1M
- أوزان نهاية ما قبل التدريب بلا تدريب متوسط أو لاحق
- بايدو تعلن MMLU 93.3 أمام النماذج الأساسية المماثلة
- ملفات safetensors بـFP8 وBF16 على Hugging Face وModelScope