CellTypeのBioSimBench、フロンティアモデルは薬剤や遺伝子ノックダウンへの細胞応答を一部しか予測できないと示す

なぜ重要か

言語モデル向けの生物学ベンチマークの多くは文章上の知識を問うが、BioSimBenchは薬剤、遺伝子ノックダウン、免疫シグナルの後にどの遺伝子が増減するかを予測させ、実測の実験結果で採点し、反復実験間の一致度を上限とする。5つのトラックが一つのリーダーボードを共有する。自社モデルが首位に立つ企業が作ったベンチマークのため、独立した提出が重要になる。どのラボが参加し、実験の再現性との差が縮まるかが注目点。