StateBench من Ai2 يجد أن النماذج الرائدة تفقد تتبع الحالة المتغيرة مع طول المدخلات
يصنف المعيار مهام تتبع الحالة إلى أربعة مستويات صعوبة تستند إلى نظرية Krohn-Rhodes؛ وفي أصعبها تنهار نماذج Gemini وClaude وGPT، بينما تعمم النماذج التكرارية والهجينة المدربة عليها أبعد من المحولات.
حقائق رئيسية
- أربعة مستويات: R-تافه، غير دوري، قابل للحل، منتهٍ عام
- يستند إلى نظرية Krohn-Rhodes
- النماذج المختبرة تشمل Gemini 3.8 Flash وClaude Opus 5.5 وGPT-6
- النماذج التكرارية والهجينة تعمم أبعد عند تدريبها