Benchmark FrontierPhysics: Kein KI-Modell schafft mehr als 46 von 168 Läufen bei Forschungsaufgaben
42 Physiker schrieben 56 Aufgaben aus neun Gebieten; getestet wurden 22 Modelle in 26 Konfigurationen, der Aufgabensatz ist öffentlich.
Warum es wichtig ist
FrontierPhysics verlangt von Agenten durchgängige Physikforschungsaufgaben statt Quizantworten. In 168 Läufen schaffte kein Modell mehr als 46 Aufgaben, laut arXiv-Preprint. Das zeigt, dass heutige Agenten lange Wissenschaftsabläufe noch verfehlen. Das Paper gehört zu härteren Science-Evals. Offen: Leaderboards, welche Labs antreten und ob Tool-Agenten die Lücke schließen.
Die wichtigsten Fakten
- arXiv:2611.06910
- 168 Bewertungsläufe
- Kein Modell über 46
- Durchgängige Physikforschungsaufgaben
- Preprint, nicht begutachtet