اختبار Physical-Engineering's Last Exam الجديد من غوغل يُظهر أن جميع النماذج الرائدة تسجل أقل من 50%
صُمم المعيار مع Mercor ويضم 85 مهمة تختبر الوكلاء على مشاريع هندسية حقيقية ميكانيكية وكهربائية ومدنية وإنشائية؛ وأعلى متوسط على المجموعة الخاصة 48.3%.
لماذا يهم
تقول غوغل إن النماذج الرائدة تتجاوز الآن 90% في كثير من المعايير الأكاديمية، لكن لم يكن هناك اختبار يتحقق من قدرة الوكلاء على إنتاج تصاميم آمنة ومطابقة للأكواد من البداية إلى النهاية. يمنح PLE كل وكيل مجلد مشروع يضم 61 ملفًا في المتوسط، منها رسومات CAD ونماذج BIM، ولا يمنح نقاطًا إلا إذا اجتاز التصميم جميع فحوص السلامة. حققت أفضل تهيئة 91% من القيود الفردية، لكن 41.3% فقط من مخرجاتها اجتازت كل الفحوص. وكان اختيار النموذج أهم بكثير من بيئة الوكيل. والمتابعة على لوحة الصدارة المفتوحة في ple-bench.com.
حقائق رئيسية
- 85 مهمة: 44 من إعداد خبراء و41 بإعداد مشترك
- اختُبر 14 نموذجًا رائدًا على سبع بيئات وكلاء
- أعلى متوسط على المجموعة الخاصة: 48.3%
- 41.3% فقط من مخرجات أفضل وكيل اجتازت كل الفحوص
- نُشرت 29 مهمة عامة مع أدوات التقييم
- صُمم بالتعاون مع Mercor