O novo Physical-Engineering's Last Exam do Google mostra que todos os modelos de fronteira pontuam abaixo de 50%
Criado com a Mercor, o benchmark de 85 tarefas testa agentes em projetos reais de engenharia mecânica, elétrica, civil e estrutural; a melhor pontuação média no conjunto privado é 48,3%.
Por que importa
O Google diz que modelos de fronteira já passam de 90% em muitos testes acadêmicos, mas nenhum verificava se agentes produzem, de ponta a ponta, projetos seguros e conformes às normas. O PLE dá a cada agente uma pasta de projeto com 61 arquivos em média, incluindo desenhos CAD e modelos BIM, e só pontua se todas as verificações de segurança forem aprovadas. A melhor configuração atendeu 91% das restrições individuais, mas só 41,3% de suas entregas passaram em todas. A escolha do modelo pesou muito mais que o ambiente do agente. Vale acompanhar o ranking aberto em ple-bench.com.
Fatos principais
- 85 tarefas: 44 de especialistas, 41 em coautoria
- 14 modelos de fronteira testados em sete ambientes de agentes
- Melhor pontuação média no conjunto privado: 48,3%
- Só 41,3% das entregas do melhor agente passaram em todas as verificações
- 29 tarefas públicas lançadas com ferramentas de avaliação
- Criado com a Mercor