Sarvam lanza Prism, un modelo de decisión de pesos abiertos basado en su modelo de 105B, con 71,8 puntos en 44 ms
El laboratorio indio dice que Prism fue el mejor de los 25 modelos de decisión que probó entre los que responden en menos de 100 ms; los pesos están en Hugging Face con licencia Apache 2.0.
Por qué importa
Prism es un modelo de decisión del llamado Sistema Uno: recibe un estado, una pregunta y opciones y devuelve una probabilidad para cada opción, pensado para juicios empresariales rápidos. Sarvam pasó Prism y otros 24 modelos por tres índices en GPU B200 y publicó los resultados ella misma, así que la clasificación no está verificada de forma independiente. El trabajo de ingeniería redujo la latencia mediana de 664 ms a 44 ms, en parte al pasar a FP8 en una sola GPU. El modelo también se ofrece por la API de Sarvam.
Datos clave
- Basado en Sarvam 105B, un modelo de mezcla de expertos
- 71,8 de media con 44 ms de mediana en B200
- El mejor por debajo de 100 ms entre 25 modelos probados por Sarvam
- Pesos abiertos con Apache 2.0; funciona en FP8 en una GPU de 120 GB o más