El benchmark DeepFinance de Julius Research: el mejor modelo logra un 54,8 % en tareas de capital riesgo y banca de 27 horas
Las 21 tareas, creadas con datos anonimizados de operaciones y evaluadas con 84 criterios cada una, sitúan a Claude Opus 5.5 primero con un 54,8 %, justo por delante de Claude Sonnet 5.5 (54,6 %) y GPT-6 Astra (54,2 %); las cifras son de la propia ejecución de Julius.
Por qué importa
DeepFinance pide a los modelos un trabajo completo de capital riesgo y banca de inversión que, según Julius, a un profesional le llevaría entre 20 y 30 horas por tarea, 27,1 de media. Los evaluadores puntúan el flujo de trabajo y el criterio, por ejemplo si los supuestos tienen fuente y son auditables, además del resultado final. Julius dice que usó la herramienta de línea de comandos de cada proveedor y no su propio arnés. El coste varía mucho más que la puntuación: GPT-6.1 Sol llegó al 52,9 % con 0,81 $ por tarea, frente a 8,63 $ del líder. Todas las cifras proceden de Julius Research, el laboratorio detrás del producto de análisis de datos Julius.
Datos clave
- 21 tareas anonimizadas de capital riesgo y banca de inversión
- Media de 27,1 horas humanas por tarea; 84 criterios cada una
- Claude Opus 5.5 (max): 54,8 % ± 9,1 con 8,63 $ por tarea
- Claude Sonnet 5.5 54,6 %; GPT-6 Astra 54,2 %
- GPT-6.1 Sol: 52,9 % con 0,81 $ por tarea
- 16 configuraciones de modelos, evaluadas por la propia Julius