プリンストン大の Scientist World が論文1,000本を実行可能な環境に、最先端AI科学家が74%で人間の結果を上回る

なぜ重要か

研究向けAIベンチマークの多くは、既知の結果を再現させるものだ。Scientist World は各論文を、未解決の研究課題と著者の手法をベースラインとする環境に変え、AI科学家を人間の著者の成果と比べる。著者は、最初の1,000環境で最先端システムがすでに74%の割合で人間を上回ったと報告している。これは自己報告でプレプリント段階の数値であり、環境の構築と検証も自動化されているため、独立した再現と「勝ち」の厳密な定義が注目点となる。