Benchmark DeepFinance da Julius Research: o melhor modelo marca 54,8% em tarefas de private equity e banco de 27 horas
As 21 tarefas, criadas com dados anonimizados de operações e avaliadas em 84 critérios cada, colocam o Claude Opus 5.5 em primeiro com 54,8%, logo à frente do Claude Sonnet 5.5 (54,6%) e do GPT-6 Astra (54,2%); os números vêm da própria execução da Julius.
Por que importa
O DeepFinance pede aos modelos um trabalho completo de private equity e banco de investimento que, segundo a Julius, levaria de 20 a 30 horas para um profissional, 27,1 em média. Os avaliadores pontuam o fluxo de trabalho e o julgamento, como se as premissas têm fonte e são auditáveis, além do resultado final. A Julius diz ter usado a ferramenta de linha de comando de cada fornecedor, e não seu próprio arcabouço. O custo varia muito mais que a nota: o GPT-6.1 Sol chegou a 52,9% com US$ 0,81 por tarefa, contra US$ 8,63 do líder. Todos os números vêm da Julius Research, o laboratório por trás do produto de análise de dados Julius.
Fatos principais
- 21 tarefas anonimizadas de private equity e banco de investimento
- Média de 27,1 horas humanas por tarefa; 84 critérios cada
- Claude Opus 5.5 (max): 54,8% ± 9,1 a US$ 8,63 por tarefa
- Claude Sonnet 5.5 54,6%; GPT-6 Astra 54,2%
- GPT-6.1 Sol: 52,9% a US$ 0,81 por tarefa
- 16 configurações de modelos, avaliadas pela própria Julius