TCSExam, um benchmark de 100 tarefas de ciência da computação teórica, coloca o GPT-6 Astra em primeiro com 71,9
O artigo do arXiv, com Andrew Chi-Chih Yao entre os autores, verifica as respostas com o núcleo do Lean ou um verificador executável; o Opus 5.5 lidera o conjunto Lite de 20 tarefas com 72,3, e os dois conjuntos ordenam quase igualmente oito agentes em comum.
Por que importa
O TCSExam tenta medir se agentes baseados em modelos de linguagem podem contribuir para a ciência da computação teórica, e não apenas resolver problemas de prova. Abrange demonstração de teoremas, engenharia de solucionadores e construções, além de tentativas diretas sobre conjecturas abertas, com respostas verificadas pelo núcleo do Lean ou por um verificador executável. O GPT-6 Astra marca 71,9 no conjunto Full de 100 tarefas, o Opus 5.5 lidera o conjunto Lite de 20 tarefas com 72,3 e os conjuntos ordenam quase igualmente oito agentes em comum (Spearman 0,93). Os autores também relatam saídas de solucionadores e construções matemáticas melhoradas. Vale ver se os agentes começam a resolver conjecturas abertas.
Fatos principais
- Enviado ao arXiv em 5 de novembro de 2026 (2611.07962)
- TCSExam-Full tem 100 tarefas revisadas por especialistas; TCSExam-Lite, 20
- As respostas são verificadas pelo núcleo do Lean ou por um verificador de tarefas executável
- Oito agentes avaliados no Full e nove no Lite
- GPT-6 Astra lidera o Full com 71,9; Opus 5.5 lidera o Lite com 72,3
- Os rankings Full e Lite coincidem em oito agentes em comum (Spearman 0,93)