Sarvam publie Prism, un modèle de décision à poids ouverts fondé sur son 105B, à 71,8 points en 44 ms
Le laboratoire indien affirme que Prism obtient le meilleur score des 25 modèles de décision testés répondant en moins de 100 ms ; les poids sont sur Hugging Face sous licence Apache 2.0.
Pourquoi c’est important
Prism est un modèle de décision dit Système 1 : à partir d'un état, d'une question et d'options, il renvoie une probabilité pour chaque option, pour des jugements rapides en entreprise. Sarvam a soumis Prism et 24 modèles concurrents à trois indices sur GPU B200 et a publié lui-même les résultats ; le classement n'est donc pas vérifié de façon indépendante. L'optimisation a réduit la latence médiane de 664 ms à 44 ms, notamment grâce au FP8 sur un seul GPU. Le modèle est aussi proposé via l'API de Sarvam.
Faits clés
- Fondé sur Sarvam 105B, un modèle à mélange d'experts
- Score moyen de 71,8 en 44 ms médians sur B200
- Meilleur sous 100 ms parmi 25 modèles testés par Sarvam
- Poids ouverts sous Apache 2.0 ; tourne en FP8 sur un GPU d'au moins 120 Go