BioSimBench, da CellType, conclui que modelos de fronteira preveem só em parte como células respondem a fármacos e silenciamento de genes
O benchmark compara previsões com experimentos de laboratório reservados; a CellType diz que seu próprio modelo de 27B treinado no BioSimGym supera o melhor modelo de fronteira em todas as tarefas.
Por que importa
A maioria dos benchmarks de biologia para modelos de linguagem mede conhecimento escrito; o BioSimBench pede que os modelos prevejam quais genes sobem ou descem após um fármaco, silenciamento de gene ou sinal imune, e os avalia com resultados medidos em laboratório, tendo a concordância entre experimentos repetidos como teto. Suas cinco trilhas compartilham um ranking. Foi criado por uma empresa cujo modelo lidera, então envios independentes serão importantes. Resta ver quais laboratórios participam e se a distância para a reprodutibilidade diminui.
Fatos principais
- Cinco trilhas, um ranking
- Tarefas: fármacos, silenciamento de genes e sinais imunes
- Avaliado com experimentos de laboratório reservados
- Modelo de 27B da CellType supera o melhor de fronteira em todas as tarefas
- Modelos treinados em GPUs NVIDIA Blackwell