ハーバード大の研究者、Claudeが書いた論文査読が有償の人間の査読者を上回ると報告
Gary King氏とSteven Worthington氏は、rapidPeerの人間による査読134件とClaude Opusの査読を比較。GPT-5.5が判定すると全ペアでAIが勝ち、元学術誌編集者3人の判定では87%で勝った。
なぜ重要か
この結果は、ハーバード大学定量社会科学研究所の有償二重盲検査読サービスrapidPeerの運営者によるもので、King氏はサービスの役割を変えざるを得ないと述べた。論文自体は未査読で、人間の編集者が判定したのは無作為に選んだ10ペアのみ。著者らは、AI査読が科学を慣習的で多数派の見解へ押しやる恐れも指摘している。学術誌がAI査読を正式に試すか、独立した再現で結果が確認されるかが注目点だ。
要点
- 2019〜2026年の論文124本に対する人間の査読134件
- AI査読はAnthropicのClaude Opusで作成
- GPT-5.5の判定で全ペアの100%がAIを選好
- 元学術誌編集者3人は87%でAIを選好
- 編集者が判定したのは無作為の10ペア
- 論文自体は未査読