Benchmark FrontierPhysics: nenhum modelo de IA passa em mais de 46 de 168 tentativas de pesquisa
42 físicos escreveram 56 tarefas em nove áreas; 22 modelos em 26 configurações foram testados, e as tarefas são públicas.
Por que importa
FrontierPhysics pede que agentes concluam tarefas de pesquisa em física de ponta a ponta, não quizzes. Em 168 execuções nenhum modelo passou de 46 tarefas, segundo o preprint no arXiv. Mostra que agentes atuais ainda falham em fluxos científicos longos. O paper se junta a evals científicas mais duras. Falta ver rankings, quais labs tentam e se agentes com ferramentas fecham o gap.
Fatos principais
- arXiv:2611.06910
- 168 execuções de avaliação
- Nenhum modelo passou de 46
- Tarefas de pesquisa em física de ponta a ponta
- Preprint sem revisão por pares