TCSExam، معيار من 100 مهمة في علوم الحاسوب النظرية، يضع GPT-6 Astra أولًا بنتيجة 71.9
تتحقق الورقة المنشورة على arXiv، التي شارك في تأليفها أندرو تشي-تشيه ياو، من الإجابات بنواة Lean أو بمدقق قابل للتنفيذ؛ ويتصدر Opus 5.5 مجموعة Lite من 20 مهمة بنتيجة 72.3، وتصنّف المجموعتان ثمانية وكلاء مشتركين بترتيب شبه متطابق.
لماذا يهم
يحاول TCSExam قياس ما إذا كان بإمكان وكلاء قائمين على نماذج لغوية الإسهام في علوم الحاسوب النظرية لا مجرد حل مسائل شبيهة بالامتحانات. يشمل إثبات النظريات وهندسة المحلّلات والإنشاءات، إضافة إلى محاولات مباشرة على مسائل مفتوحة، وتُتحقق الإجابات بنواة Lean أو بمدقق قابل للتنفيذ. يسجّل GPT-6 Astra نتيجة 71.9 في المجموعة الكاملة من 100 مهمة، ويتصدر Opus 5.5 مجموعة Lite من 20 مهمة بنتيجة 72.3، وتصنّف المجموعتان ثمانية وكلاء مشتركين بترتيب شبه متطابق (سبيرمان 0.93). ويفيد المؤلفون أيضًا بتحسّن مخرجات المحلّلات والإنشاءات الرياضية. يُتابَع هل يبدأ الوكلاء بحسم مسائل مفتوحة.
حقائق رئيسية
- أُرسلت إلى arXiv في 5 نوفمبر 2026 (2611.07962)
- TCSExam-Full فيها 100 مهمة راجعها خبراء، وTCSExam-Lite فيها 20
- تُتحقق الإجابات بنواة Lean أو بمدقق مهام قابل للتنفيذ
- قُيّم ثمانية وكلاء على Full وتسعة على Lite
- يتصدر GPT-6 Astra مجموعة Full بنتيجة 71.9؛ ويتصدر Opus 5.5 مجموعة Lite بنتيجة 72.3
- يتفق ترتيب Full وLite لثمانية وكلاء مشتركين (سبيرمان 0.93)