i14 lança Sugar Glider, modelos de linguagem de memória constante que atendem 32 vezes mais pedidos de um milhão de tokens
No whitepaper, a i14 diz que o Sugarglider-120B, baseado no Nemotron 3 Super da Nvidia, iguala o modelo de origem nos testes usando 1/32 da memória com um milhão de tokens; os resultados são da própria empresa.
Por que importa
Contextos longos são caros porque o cache chave-valor de um transformer cresce a cada token, limitando quantos pedidos longos cabem num servidor de GPU. O whitepaper da i14 diz que o Sugarglider mantém memória e computação por token constantes e que, em quatro H200, o modelo de 120B comporta 453 pedidos de um milhão de tokens contra 14 do Nemotron 3 Super. Relata 73,3 no RULER de 13 tarefas com um milhão de tokens, o melhor resultado segundo a empresa para um modelo de memória constante. Os números são da própria empresa; faltam testes independentes e acesso mais amplo.
Fatos principais
- Baseado no Nemotron 3 Nano 4B e Nemotron 3 Super 120B-A12B da Nvidia
- 1/32 da memória do modelo de origem com um milhão de tokens
- 453 contra 14 pedidos simultâneos de um milhão de tokens em quatro H200
- 73,3 no RULER de 13 tarefas com um milhão de tokens
- Orçamento de memória definido na inferência