哈佛研究人员发现,Claude 撰写的论文评审优于付费人类评审,AI 与期刊编辑评判结果一致
Gary King 和 Steven Worthington 将其 rapidPeer 服务的 134 份人类评审与 Claude Opus 评审对比;以 GPT-5.5 为评判时 AI 全部胜出,由三位前期刊编辑评判时胜率为 87%。
为何重要
这一结果来自哈佛定量社会科学研究所付费双盲评审服务 rapidPeer 的负责人,King 表示该服务将不得不调整业务方向。论文本身尚未经过同行评审,人类编辑也只评判了随机抽取的 10 对评审。作者还警告,AI 评审可能把科学推向保守的主流观点。值得关注的是期刊是否会正式测试 AI 评审,以及这一发现能否被独立复现。
要点
- 2019 至 2026 年 124 篇论文的 134 份人类评审
- AI 评审由 Anthropic 的 Claude Opus 撰写
- GPT-5.5 评判时 100% 的配对偏好 AI
- 三位前期刊编辑 87% 偏好 AI
- 编辑评判了随机 10 对
- 论文尚未经同行评审