Le benchmark DeepFinance de Julius Research : le meilleur modèle obtient 54,8 % sur des tâches de private equity et de banque de 27 heures
Les 21 tâches, bâties sur des données de transactions anonymisées et notées selon 84 critères chacune, placent Claude Opus 5.5 en tête avec 54,8 %, juste devant Claude Sonnet 5.5 (54,6 %) et GPT-6 Astra (54,2 %) ; les scores viennent des propres essais de Julius.
Pourquoi c’est important
DeepFinance demande aux modèles un travail complet de private equity et de banque d'investissement que, selon Julius, un professionnel mettrait de 20 à 30 heures par tâche, 27,1 en moyenne. Les correcteurs notent le déroulé et le jugement, par exemple si les hypothèses sont sourcées et vérifiables, en plus du résultat final. Julius dit avoir utilisé l'outil en ligne de commande de chaque éditeur plutôt que son propre harnais. Le coût varie bien plus que le score : GPT-6.1 Sol atteint 52,9 % pour 0,81 $ par tâche, contre 8,63 $ pour le premier. Tous les chiffres viennent de Julius Research, le laboratoire derrière le produit d'analyse de données Julius.
Faits clés
- 21 tâches anonymisées de private equity et de banque d'investissement
- 27,1 heures humaines en moyenne par tâche ; 84 critères chacune
- Claude Opus 5.5 (max) : 54,8 % ± 9,1 pour 8,63 $ par tâche
- Claude Sonnet 5.5 54,6 % ; GPT-6 Astra 54,2 %
- GPT-6.1 Sol : 52,9 % pour 0,81 $ par tâche
- 16 configurations de modèles, notées par Julius elle-même