Googles neuer Physical-Engineering's Last Exam zeigt: Alle Frontier-Modelle erreichen unter 50 %
Der mit Mercor entwickelte Benchmark mit 85 Aufgaben prüft Agenten an realen Projekten aus Maschinen-, Elektro-, Bau- und Tragwerksplanung; der beste Mittelwert im privaten Set liegt bei 48,3 %.
Warum es wichtig ist
Laut Google erreichen Frontier-Modelle in vielen akademischen Tests inzwischen über 90 %, doch kein Test prüfte, ob Agenten durchgängig sichere, normgerechte Entwürfe liefern. PLE gibt jedem Agenten einen Projektordner mit durchschnittlich 61 Dateien, darunter CAD-Zeichnungen und BIM-Modelle, und vergibt Punkte nur, wenn alle harten Sicherheitsprüfungen bestanden sind. Die beste Konfiguration erfüllte 91 % der Einzelanforderungen, aber nur 41,3 % ihrer Ergebnisse bestanden alle Prüfungen. Die Modellwahl wog weit schwerer als die Agenten-Umgebung. Zu beobachten ist die offene Rangliste auf ple-bench.com.
Die wichtigsten Fakten
- 85 Aufgaben: 44 von Experten, 41 gemeinsam erstellt
- 14 Frontier-Modelle auf sieben Agenten-Umgebungen getestet
- Bester Mittelwert im privaten Set: 48,3 %
- Nur 41,3 % der Ergebnisse des besten Agenten bestanden alle Prüfungen
- 29 öffentliche Aufgaben samt Bewertungswerkzeugen veröffentlicht
- Mit Mercor entwickelt