i14、メモリ一定の言語モデル「Sugar Glider」を発表　100万トークン要求を32倍多く処理

なぜ重要か

長いコンテキストが高くつくのは、Transformerのキー・バリューキャッシュがトークンごとに増え、GPUサーバーが抱えられる長い要求の数を制限するためだ。i14のホワイトペーパーによると、Sugargliderはメモリとトークン当たりの計算量を一定に保ち、H200を4基使うと120Bモデルは100万トークンの要求を453件、Nemotron 3 Superは14件処理できる。100万トークンでの13タスクRULERで73.3を記録し、メモリ一定のモデルで最高だとしている。数値は自社発表で、独立検証と提供範囲の拡大が焦点だ。