معيار Clocktower لدواركش باتيل يضع GPT-6 Astra في الصدارة بين نماذج الذكاء الاصطناعي في لعبة الكذب والكشف
أجرى باتيل 386 مباراة من Blood on the Clocktower بين النماذج وأنفق نحو 20 ألف دولار على رصيد واجهات البرمجة؛ ويذكر أن Astra يفوز بنحو 92% من المباريات ضد Claude Opus 4.6، بفارق نحو 430 نقطة إيلو، وتفوق OpenAI يأتي في الغالب من الجانب الخيّر.
لماذا يهم
Blood on the Clocktower لعبة استنتاج اجتماعي يكذب فيها فريق الشر على فريق الخير الذي عليه كشف الشيطان، فهي تختبر التنسيق بعيد المدى والخداع ووزن الأدلة معًا. استبدل باتيل الراوي البشري براوٍ برمجي وقيّم 11 نموذجًا بملاءمة برادلي–تيري؛ ويقول إن نماذج OpenAI كسبت نحو 580 نقطة إيلو بين GPT-5.4 وGPT-6 Astra، أساسًا بتعاملها بتشكك أكبر مع كل دليل منفرد. ولم يتفوق اختبار صغير لفرق مختلطة من Opus 5.5 وGPT-5.6 Sol على أي من الطرفين. تُراقَب النماذج الجديدة التي ستُضاف إلى clocktowerbench.com.
حقائق رئيسية
- 386 مباراة بنموذج يمثل فريق الخير كله وآخر يمثل فريق الشر كله
- Astra يفوز بنحو 92% ضد Claude Opus 4.6 بفارق نحو 430 إيلو
- نماذج OpenAI كسبت نحو 580 إيلو بين GPT-5.4 وGPT-6 Astra
- أُنفق نحو 20 ألف دولار على رصيد واجهات البرمجة
- تم تقييم 11 نموذجًا والمتوسط 1500 إيلو
- فرق Opus 5.5 / GPT-5.6 Sol المختلطة لعبت 132 مباراة إضافية وجاء تقييمها أقل قليلًا من متوسط أعضائها