Sarvam veröffentlicht Prism, ein Open-Weight-Entscheidungsmodell auf Basis seines 105B-Modells: 71,8 Punkte in 44 ms
Das indische Labor sagt, Prism sei unter 25 getesteten Entscheidungsmodellen das beste mit Antwortzeit unter 100 ms; die Gewichte liegen unter Apache 2.0 auf Hugging Face.
Warum es wichtig ist
Prism ist ein sogenanntes System-1-Entscheidungsmodell: Es erhält einen Zustand, eine Frage und Optionen und gibt für jede Option eine Wahrscheinlichkeit aus, gedacht für schnelle Unternehmensentscheidungen. Sarvam testete Prism und 24 Konkurrenzmodelle mit drei Indizes auf B200-GPUs und veröffentlichte die Ergebnisse selbst, die Rangfolge ist also nicht unabhängig geprüft. Technische Optimierung senkte die mittlere Latenz von 664 auf 44 ms, unter anderem durch FP8 auf einer einzigen GPU. Das Modell ist auch über Sarvams API verfügbar.
Die wichtigsten Fakten
- Basiert auf Sarvam 105B, einem Mixture-of-Experts-Modell
- Durchschnitt 71,8 bei 44 ms Median auf B200
- Bestes Modell unter 100 ms von 25 getesteten
- Offene Gewichte unter Apache 2.0; läuft in FP8 auf einer GPU ab 120 GB