Sarvam lança Prism, modelo de decisão de pesos abertos baseado no seu modelo de 105B, com 71,8 pontos em 44 ms
O laboratório indiano diz que o Prism teve a maior nota entre 25 modelos de decisão testados que respondem em menos de 100 ms; os pesos estão no Hugging Face sob Apache 2.0.
Por que importa
O Prism é um modelo de decisão do chamado Sistema Um: recebe um estado, uma pergunta e opções e devolve uma probabilidade para cada opção, para julgamentos empresariais rápidos. A Sarvam testou o Prism e 24 modelos rivais em três índices em GPUs B200 e publicou ela mesma os resultados, por isso o ranking não foi verificado de forma independente. O trabalho de engenharia reduziu a latência mediana de 664 ms para 44 ms, em parte com FP8 em uma única GPU. O modelo também é oferecido pela API da Sarvam.
Fatos principais
- Baseado no Sarvam 105B, um modelo de mistura de especialistas
- Média de 71,8 com mediana de 44 ms em B200
- Melhor abaixo de 100 ms entre 25 modelos testados pela Sarvam
- Pesos abertos sob Apache 2.0; roda em FP8 numa GPU com 120 GB ou mais