TCSExam, ein Benchmark mit 100 Aufgaben der theoretischen Informatik, sieht GPT-6 Astra mit 71,9 vorn
Das arXiv-Papier, u. a. von Andrew Chi-Chih Yao, prüft Antworten mit dem Lean-Kernel oder einem ausführbaren Prüfer; Opus 5.5 führt den 20-Aufgaben-Satz Lite mit 72,3 an, und beide Sätze ordnen acht gemeinsame Agenten fast gleich.
Warum es wichtig ist
TCSExam will messen, ob Agenten auf Sprachmodellbasis zur theoretischen Informatik beitragen können, statt nur Prüfungsaufgaben zu lösen. Es umfasst Theorembeweisen, Solver-Entwicklung und Konstruktionen sowie direkte Versuche an offenen Vermutungen; die Antworten prüft der Lean-Kernel oder ein ausführbarer Prüfer. GPT-6 Astra erreicht im 100-Aufgaben-Satz Full 71,9, Opus 5.5 führt den 20-Aufgaben-Satz Lite mit 72,3 an, und beide Sätze ordnen acht gemeinsame Agenten fast gleich (Spearman 0,93). Die Autoren berichten außerdem von verbesserten Solver-Ausgaben und mathematischen Konstruktionen. Zu beobachten ist, ob Agenten beginnen, offene Vermutungen zu lösen.
Die wichtigsten Fakten
- Am 5. Nov. 2026 bei arXiv eingereicht (2611.07962)
- TCSExam-Full hat 100 von Experten geprüfte Aufgaben; TCSExam-Lite 20
- Antworten werden vom Lean-Kernel oder einem ausführbaren Aufgabenprüfer geprüft
- Acht Agenten auf Full bewertet, neun auf Lite
- GPT-6 Astra führt Full mit 71,9; Opus 5.5 führt Lite mit 72,3
- Full- und Lite-Rangfolge stimmen bei acht gemeinsamen Agenten überein (Spearman 0,93)