インドのSarvam、105Bモデル基盤のオープンウェイト判断モデルPrismを公開 44ミリ秒で71.8点

同社によると、Prismは検証した25の判断モデルのうち100ミリ秒未満で応答するもので最高得点。重みはApache 2.0でHugging Faceに公開。
なぜ重要か
Prismはいわゆるシステム1型の判断モデルで、状態・質問・選択肢を受け取り各選択肢の確率を返す。企業の素早い判断向けだ。SarvamはB200 GPU上でPrismと競合24モデルを3つの指標で評価し、結果を自ら公表したため、順位は独立検証されていない。最適化により中央値レイテンシーは664ミリ秒から44ミリ秒に短縮され、単一GPUでのFP8化も寄与した。SarvamのAPIでも提供される。
要点
- 混合エキスパート型のSarvam 105Bが基盤
- B200で平均71.8点、中央値44ミリ秒
- Sarvamが試した25モデル中、100ミリ秒未満で最高
- Apache 2.0のオープンウェイト、120GB以上のGPU1基でFP8動作