Harvard-Forscher: Von Claude verfasste Gutachten zu Fachartikeln schlagen bezahlte menschliche Gutachter
Gary King und Steven Worthington verglichen 134 menschliche Gutachten ihres Dienstes rapidPeer mit Gutachten von Claude Opus; die KI gewann jedes Paar unter GPT-5.5 als Richter und 87 % bei drei früheren Zeitschriftenherausgebern.
Warum es wichtig ist
Das Ergebnis stammt von den Betreibern von rapidPeer, einem bezahlten doppelblinden Begutachtungsdienst am Harvard-Institut für quantitative Sozialwissenschaft, und King sagt, der Dienst müsse sich nun neu ausrichten. Die Arbeit selbst ist noch nicht begutachtet, und die menschlichen Herausgeber bewerteten nur 10 zufällig gewählte Paare. Die Autoren warnen zudem, KI-Gutachten könnten die Wissenschaft zu konventionellen Mehrheitsmeinungen drängen. Zu beobachten ist, ob Fachzeitschriften KI-Begutachtung formal testen und ob sich der Befund unabhängig reproduzieren lässt.
Die wichtigsten Fakten
- 134 menschliche Gutachten zu 124 Arbeiten, 2019 bis 2026
- KI-Gutachten mit Anthropics Claude Opus verfasst
- GPT-5.5 als Richter bevorzugte die KI in 100 % der Paare
- Drei frühere Herausgeber bevorzugten die KI in 87 %
- Herausgeber bewerteten 10 zufällige Paare
- Arbeit noch nicht begutachtet