Benchmark FrontierPhysics: ningún modelo de IA supera 46 de 168 intentos en tareas de investigación
42 físicos escribieron 56 tareas en nueve campos; se probaron 22 modelos en 26 configuraciones y las tareas son públicas.
Por qué importa
FrontierPhysics pide a los agentes completar tareas de investigación física de extremo a extremo, no respuestas tipo test. En 168 corridas ningún modelo superó 46 tareas, según el preprint de arXiv. Muestra que los agentes actuales fallan en flujos científicos largos aunque rinden en bancos cortos. Se suma a evaluaciones científicas más duras. Queda ver tablas de clasificación, qué labs lo intentan y si agentes con herramientas cierran la brecha.
Datos clave
- arXiv:2611.06910
- 168 ejecuciones de evaluación
- Ningún modelo pasó de 46
- Tareas de investigación física de extremo a extremo
- Preprint, sin revisión por pares