i14 تطلق Sugar Glider، نماذج لغوية بذاكرة ثابتة تخدم طلبات المليون رمز بعدد أكبر 32 مرة
تقول i14 في ورقتها البيضاء إن Sugarglider-120B المبني على Nemotron 3 Super من إنفيديا يضاهي النموذج الأصلي في الاختبارات ويحتاج 1/32 من الذاكرة عند مليون رمز؛ والنتائج معلنة من الشركة.
لماذا يهم
السياقات الطويلة مكلفة لأن ذاكرة المفاتيح والقيم في المحوّل تكبر مع كل رمز، ما يحد من عدد الطلبات الطويلة التي يتسع لها خادم GPU. وتقول الورقة البيضاء لـ i14 إن Sugarglider يُبقي الذاكرة والحوسبة لكل رمز ثابتتين، وإن النموذج ذا 120B يتسع على أربع H200 لـ 453 طلبًا بمليون رمز مقابل 14 لـ Nemotron 3 Super. ويسجل 73.3 في اختبار RULER ذي المهام الثلاث عشرة عند مليون رمز، وتصفه الشركة بأفضل نتيجة لنموذج بذاكرة ثابتة. الأرقام من الشركة نفسها؛ والمنتظر اختبارات مستقلة وإتاحة أوسع.
حقائق رئيسية
- مبني على Nemotron 3 Nano 4B وNemotron 3 Super 120B-A12B من إنفيديا
- 1/32 من ذاكرة النموذج الأصلي عند مليون رمز
- 453 مقابل 14 طلبًا متزامنًا بمليون رمز على أربع H200
- 73.3 في RULER بـ13 مهمة عند مليون رمز
- تُحدد ميزانية الذاكرة وقت الاستدلال