Le nouveau Physical-Engineering's Last Exam de Google montre que tous les modèles de pointe obtiennent moins de 50 %
Conçu avec Mercor, ce banc d'essai de 85 tâches évalue des agents sur de vrais projets d'ingénierie mécanique, électrique, civile et structurelle ; le meilleur score moyen sur le jeu privé est de 48,3 %.
Pourquoi c’est important
Google indique que les modèles de pointe dépassent désormais 90 % sur de nombreux tests académiques, mais qu'aucun ne vérifiait si des agents produisent de bout en bout des conceptions sûres et conformes aux normes. PLE confie à chaque agent un dossier de projet de 61 fichiers en moyenne, dont des plans CAO et des maquettes BIM, et n'accorde de points que si tous les contrôles de sécurité sont validés. La meilleure configuration a respecté 91 % des contraintes, mais seuls 41,3 % de ses livrables ont passé tous les contrôles. Le choix du modèle a pesé bien plus que celui de l'environnement d'agent. À suivre : le classement ouvert sur ple-bench.com.
Faits clés
- 85 tâches : 44 rédigées par des experts, 41 co-rédigées
- 14 modèles de pointe testés sur sept environnements d'agents
- Meilleur score moyen sur le jeu privé : 48,3 %
- Seuls 41,3 % des livrables du meilleur agent ont passé tous les contrôles
- 29 tâches publiques publiées avec les outils de notation
- Conçu avec Mercor