Le BioSimBench de CellType montre que les modèles de pointe ne prédisent qu'en partie la réponse des cellules aux médicaments et extinctions de gènes
Le banc d'essai compare les prédictions à des expériences de laboratoire tenues à l'écart ; CellType affirme que son propre modèle de 27B entraîné dans BioSimGym bat le meilleur modèle de pointe sur chaque tâche.
Pourquoi c’est important
La plupart des bancs d'essai de biologie pour modèles de langage testent des connaissances écrites ; BioSimBench demande de prédire quels gènes montent ou baissent après un médicament, une extinction de gène ou un signal immunitaire, et note les réponses sur des résultats mesurés, l'accord entre expériences répétées servant de plafond. Ses cinq volets partagent un classement. Il est conçu par une entreprise dont le modèle arrive en tête : les soumissions indépendantes compteront. À suivre : quels laboratoires soumettent des modèles et si l'écart avec la reproductibilité se réduit.
Faits clés
- Cinq volets, un classement
- Tâches : médicaments, extinctions de gènes et signaux immunitaires
- Noté sur des expériences de laboratoire tenues à l'écart
- Le modèle de 27B de CellType bat le meilleur modèle de pointe sur chaque tâche
- Modèles entraînés sur GPU NVIDIA Blackwell