AItonomy lança Science’s Last Exam para testar agentes de pesquisa ponta a ponta
113 tarefas em nove disciplinas pontuam da hipótese à observação; corridas iniciais dão 37,5/100 ao melhor modelo e zero ponta a ponta.
Por que importa
A maioria dos benchmarks científicos pergunta o que os modelos sabem. Science’s Last Exam pergunta se agentes podem fazer pesquisa: hipóteses, protocolos, código e software científicos, observações frente a checagens expert ocultas. O conjunto público da AItonomy tem 113 tarefas em nove campos. Números iniciais dão 37,5/100 ao melhor de oito modelos e zero em pesquisa ponta a ponta.
Fatos principais
- 113 tarefas públicas em nove disciplinas
- Seis trilhas de capacidade mais avaliação ponta a ponta
- Melhor score inicial 37,5/100; zero ponta a ponta
- AItonomy Foundation; sciences-last-exam.org
- Anúncio 2026-11-05 15:58Z; pacotes em 6 nov