TCSExam, un banc d'essai de 100 tâches d'informatique théorique, place GPT-6 Astra en tête avec 71,9
L'article arXiv, cosigné par Andrew Chi-Chih Yao, vérifie les réponses avec le noyau de Lean ou un vérificateur exécutable ; Opus 5.5 domine l'ensemble Lite de 20 tâches avec 72,3, et les deux ensembles classent presque à l'identique huit agents communs.
Pourquoi c’est important
TCSExam cherche à mesurer si des agents à base de modèles de langage peuvent contribuer à l'informatique théorique, et pas seulement résoudre des problèmes d'examen. Il couvre la démonstration de théorèmes, l'ingénierie de solveurs et les constructions, ainsi que des tentatives directes sur des conjectures ouvertes, les réponses étant vérifiées par le noyau de Lean ou un vérificateur exécutable. GPT-6 Astra obtient 71,9 sur l'ensemble Full de 100 tâches, Opus 5.5 domine l'ensemble Lite de 20 tâches avec 72,3 et les deux ensembles classent presque à l'identique huit agents communs (Spearman 0,93). Les auteurs signalent aussi de meilleures sorties de solveurs et des constructions mathématiques améliorées. À suivre : les agents commenceront-ils à résoudre des conjectures ouvertes ?
Faits clés
- Soumis à arXiv le 5 novembre 2026 (2611.07962)
- TCSExam-Full compte 100 tâches revues par des experts ; TCSExam-Lite en compte 20
- Les réponses sont vérifiées par le noyau de Lean ou un vérificateur de tâches exécutable
- Huit agents évalués sur Full, neuf sur Lite
- GPT-6 Astra mène Full avec 71,9 ; Opus 5.5 mène Lite avec 72,3
- Les classements Full et Lite concordent pour huit agents communs (Spearman 0,93)