i14 lance Sugar Glider, des modèles de langage à mémoire constante qui servent 32 fois plus de requêtes d'un million de jetons
Dans son livre blanc, i14 affirme que Sugarglider-120B, bâti sur Nemotron 3 Super de Nvidia, égale son modèle parent aux tests tout en nécessitant 1/32 de la mémoire à un million de jetons ; résultats non vérifiés de façon indépendante.
Pourquoi c’est important
Les contextes longs coûtent cher car le cache clé-valeur d'un transformer grossit à chaque jeton, ce qui limite le nombre de longues requêtes par serveur GPU. Le livre blanc d'i14 affirme que Sugarglider garde mémoire et calcul par jeton constants, et que sur quatre H200 le modèle de 120B tient 453 requêtes d'un million de jetons contre 14 pour Nemotron 3 Super. Il annonce 73,3 au RULER à 13 tâches à un million de jetons, le meilleur score selon l'entreprise pour un modèle à mémoire constante. Chiffres maison ; à suivre : tests indépendants et accès élargi.
Faits clés
- Bâti sur Nemotron 3 Nano 4B et Nemotron 3 Super 120B-A12B de Nvidia
- 1/32 de la mémoire du parent à un million de jetons
- 453 contre 14 requêtes simultanées d'un million de jetons sur quatre H200
- 73,3 au RULER à 13 tâches à un million de jetons
- Budget mémoire fixé au moment de l'inférence