CellTypes BioSimBench zeigt: Frontier-Modelle sagen nur teilweise voraus, wie Zellen auf Wirkstoffe und Gen-Knockdowns reagieren
Der Benchmark misst Vorhersagen an zurückgehaltenen Laborexperimenten; CellType zufolge schlägt sein eigenes, in BioSimGym trainiertes 27B-Modell das beste Frontier-Modell in jeder Aufgabe.
Warum es wichtig ist
Die meisten Biologie-Benchmarks für Sprachmodelle prüfen Textwissen; BioSimBench verlangt die Vorhersage, welche Gene nach einem Wirkstoff, Gen-Knockdown oder Immunsignal hoch- oder herunterreguliert werden, und bewertet sie an gemessenen Laborergebnissen, mit der Übereinstimmung wiederholter Experimente als Obergrenze. Fünf Bereiche teilen sich eine Rangliste. Der Benchmark stammt von einer Firma, deren eigenes Modell vorne liegt; unabhängige Einreichungen sind daher wichtig. Abzuwarten ist, welche Labore teilnehmen und ob die Lücke zur Reproduzierbarkeit schrumpft.
Die wichtigsten Fakten
- Fünf Bereiche, eine Rangliste
- Aufgaben: Wirkstoffe, Gen-Knockdowns und Immunsignale
- Bewertet an zurückgehaltenen Laborexperimenten
- CellTypes 27B-Modell schlägt das beste Frontier-Modell in jeder Aufgabe
- Modelle auf NVIDIA-Blackwell-GPUs trainiert