El nuevo Physical-Engineering's Last Exam de Google muestra que todos los modelos de frontera puntúan por debajo del 50%
Creado con Mercor, el banco de 85 tareas evalúa agentes en proyectos reales de ingeniería mecánica, eléctrica, civil y estructural; la mejor puntuación media en el conjunto privado es del 48,3%.
Por qué importa
Google afirma que los modelos de frontera ya superan el 90% en muchas pruebas académicas, pero ninguna comprobaba si los agentes pueden producir diseños seguros y conformes a normativa de principio a fin. PLE da a cada agente una carpeta de proyecto con 61 archivos de media, incluidos planos CAD y modelos BIM, y solo puntúa si se superan todas las comprobaciones de seguridad. La mejor configuración cumplió el 91% de las restricciones individuales, pero solo el 41,3% de sus entregables las superó todas. El modelo pesó mucho más que el entorno del agente. Habrá que seguir la clasificación abierta en ple-bench.com.
Datos clave
- 85 tareas: 44 de expertos y 41 en coautoría
- 14 modelos de frontera probados en siete entornos de agentes
- Mejor puntuación media en el conjunto privado: 48,3%
- Solo el 41,3% de los entregables del mejor agente superó todas las comprobaciones
- 29 tareas públicas publicadas con herramientas de calificación
- Creado con Mercor