Benchmark FrontierPhysics : aucun modèle d'IA ne réussit plus de 46 essais sur 168 en tâches de recherche
42 physiciens ont rédigé 56 tâches dans neuf domaines ; 22 modèles en 26 configurations ont été testés, et le jeu de tâches est public.
Pourquoi c’est important
FrontierPhysics demande aux agents de mener des tâches de recherche en physique de bout en bout, pas des quiz. Sur 168 essais, aucun modèle n'a dépassé 46 tâches, selon le preprint arXiv. Cela montre que les agents actuels échouent encore sur de longs flux scientifiques. Le papier s'inscrit dans une vague d'évals plus dures. À suivre : classements, labs candidats et agents outillés.
Faits clés
- arXiv:2611.06910
- 168 essais d'évaluation
- Aucun modèle au-delà de 46
- Tâches de recherche physique de bout en bout
- Prépublication, non relue par des pairs