BioSimBench de CellType concluye que los modelos de frontera predicen solo en parte cómo responden las células a fármacos y silenciamientos
La prueba compara las predicciones con experimentos de laboratorio reservados; CellType dice que su propio modelo de 27B entrenado en BioSimGym supera al mejor modelo de frontera en todas las tareas.
Por qué importa
La mayoría de las pruebas de biología para modelos de lenguaje miden conocimiento escrito; BioSimBench pide predecir qué genes suben o bajan tras un fármaco, un silenciamiento génico o una señal inmunitaria, y lo califica con resultados medidos en laboratorio, con la concordancia entre experimentos repetidos como techo. Sus cinco pistas comparten una clasificación. La prueba la creó una empresa cuyo propio modelo la encabeza, por lo que importarán los envíos independientes. Habrá que ver qué laboratorios participan y si se reduce la distancia con la reproducibilidad experimental.
Datos clave
- Cinco pistas, una clasificación
- Tareas: fármacos, silenciamientos génicos y señales inmunitarias
- Calificado con experimentos de laboratorio reservados
- El modelo de 27B de CellType supera al mejor de frontera en todas las tareas
- Modelos entrenados en GPU NVIDIA Blackwell