Julius Researchs Benchmark DeepFinance: Das beste Modell erreicht 54,8 % bei 27-stündigen Private-Equity- und Bankaufgaben
Die 21 Aufgaben, aus anonymisierten Transaktionsdaten gebaut und mit je 84 Kriterien bewertet, führen Claude Opus 5.5 mit 54,8 % an, knapp vor Claude Sonnet 5.5 (54,6 %) und GPT-6 Astra (54,2 %); die Werte stammen aus Julius' eigenem Lauf.
Warum es wichtig ist
DeepFinance verlangt von Modellen vollständige Arbeit in Private Equity und Investmentbanking, die laut Julius einen Profi 20 bis 30 Stunden je Aufgabe kosten würde, im Mittel 27,1. Bewertet werden Arbeitsablauf und Urteilsvermögen, etwa ob Annahmen belegt und prüfbar sind, sowie das Endergebnis. Julius sagt, es habe das jeweilige Kommandozeilenwerkzeug der Anbieter statt eines eigenen Harness genutzt. Die Kosten schwanken viel stärker als die Punkte: GPT-6.1 Sol erreichte 52,9 % bei 0,81 $ je Aufgabe, der Spitzenreiter kostet 8,63 $. Alle Zahlen stammen von Julius Research, dem Labor hinter dem Datenanalyse-Produkt Julius.
Die wichtigsten Fakten
- 21 anonymisierte Private-Equity- und Investmentbanking-Aufgaben
- Im Mittel 27,1 Stunden menschlicher Arbeit je Aufgabe; je 84 Kriterien
- Claude Opus 5.5 (max): 54,8 % ± 9,1 bei 8,63 $ je Aufgabe
- Claude Sonnet 5.5 54,6 %; GPT-6 Astra 54,2 %
- GPT-6.1 Sol: 52,9 % bei 0,81 $ je Aufgabe
- 16 Modellkonfigurationen, von Julius selbst bewertet