AItonomy、端到端研究エージェントを測るScience’s Last Examを公開

なぜ重要か

多くの科学ベンチマークはモデルが何を知かを問う。Science’s Last Examは、仮説・プロトコル・科学コードとソフト・観測を隠し専門家チェックで評価し、研究を「できるか」を問う。AItonomyの公開セットは9分野113課題。初期は8フロンティア中最良が37.5/100、端到端はゼロ。完全パッケージは11月6日公開予定。