TCSExam, un banco de 100 tareas de informática teórica, sitúa a GPT-6 Astra primero con 71,9
El artículo de arXiv, con Andrew Chi-Chih Yao entre los autores, comprueba las respuestas con el núcleo de Lean o un verificador ejecutable; Opus 5.5 lidera el conjunto Lite de 20 tareas con 72,3 y ambos conjuntos ordenan casi igual a ocho agentes compartidos.
Por qué importa
TCSExam intenta medir si los agentes basados en modelos de lenguaje pueden contribuir a la informática teórica, no solo resolver problemas de examen. Abarca demostración de teoremas, ingeniería de solucionadores y construcciones, además de intentos directos sobre conjeturas abiertas, con respuestas verificadas por el núcleo de Lean o un verificador ejecutable. GPT-6 Astra obtiene 71,9 en el conjunto Full de 100 tareas, Opus 5.5 lidera el conjunto Lite de 20 tareas con 72,3 y ambos conjuntos ordenan casi igual a ocho agentes compartidos (Spearman 0,93). Los autores también informan de mejores salidas de solucionadores y construcciones matemáticas. Conviene ver si los agentes empiezan a resolver conjeturas abiertas.
Datos clave
- Enviado a arXiv el 5 de noviembre de 2026 (2611.07962)
- TCSExam-Full tiene 100 tareas revisadas por expertos; TCSExam-Lite, 20
- Las respuestas se verifican con el núcleo de Lean o un verificador de tareas ejecutable
- Ocho agentes evaluados en Full y nueve en Lite
- GPT-6 Astra lidera Full con 71,9; Opus 5.5 lidera Lite con 72,3
- Los rankings de Full y Lite coinciden en ocho agentes compartidos (Spearman 0,93)