i14 发布 Sugar Glider 恒定内存语言模型，百万 token 请求并发量提升 32 倍
i14 在白皮书中称，基于英伟达 Nemotron 3 Super 的 Sugarglider-120B 在基准测试上与原模型持平，在百万 token 时内存仅需其 1/32；结果为公司自报。
为何重要
长上下文成本高，是因为 Transformer 的键值缓存随每个 token 增长，限制了一台 GPU 服务器能容纳的长请求数量。i14 白皮书称，Sugarglider 的内存和每 token 计算量保持恒定，在四块 H200 上 120B 模型可同时容纳 453 个百万 token 请求，而 Nemotron 3 Super 只有 14 个。它在百万 token 的 13 项 RULER 测试中得分 73.3，公司称这是恒定内存模型的最佳成绩。数据均为公司自报；需关注独立测试和更广泛的开放。
要点
- 基于英伟达 Nemotron 3 Nano 4B 和 Nemotron 3 Super 120B-A12B
- 百万 token 时内存为原模型的 1/32
- 四块 H200 上并发百万 token 请求 453 个，原模型 14 个
- 百万 token 13 项 RULER 得分 73.3
- 内存预算在推理时设定