i14 lanza Sugar Glider, modelos de lenguaje de memoria constante que atienden 32 veces más peticiones de un millón de tokens
En su informe técnico, i14 afirma que Sugarglider-120B, basado en Nemotron 3 Super de Nvidia, iguala a su modelo de origen en pruebas y necesita 1/32 de la memoria con un millón de tokens; los resultados son de la propia empresa.
Por qué importa
Los contextos largos son caros porque la caché clave-valor de un transformer crece con cada token, lo que limita cuántas peticiones largas caben en un servidor de GPU. El informe de i14 dice que Sugarglider mantiene constantes la memoria y el cómputo por token, y que en cuatro H200 el modelo de 120B admite 453 peticiones de un millón de tokens frente a 14 de Nemotron 3 Super. Reporta 73,3 en RULER de 13 tareas con un millón de tokens, el mejor resultado según la empresa para un modelo de memoria constante. Las cifras son propias; faltan pruebas independientes y acceso más amplio.
Datos clave
- Basado en Nemotron 3 Nano 4B y Nemotron 3 Super 120B-A12B de Nvidia
- 1/32 de la memoria del modelo de origen con un millón de tokens
- 453 frente a 14 peticiones simultáneas de un millón de tokens en cuatro H200
- 73,3 en RULER de 13 tareas con un millón de tokens
- El presupuesto de memoria se fija en inferencia