i14 stellt Sugar Glider vor: Sprachmodelle mit konstantem Speicher bedienen 32-mal mehr Anfragen mit einer Million Tokens
Laut Whitepaper erreicht Sugarglider-120B auf Basis von Nvidias Nemotron 3 Super die Benchmarks des Ausgangsmodells und braucht bei einer Million Tokens nur 1/32 des Speichers; die Ergebnisse stammen von i14 selbst.
Warum es wichtig ist
Lange Kontexte sind teuer, weil der Key-Value-Cache eines Transformers mit jedem Token wächst und so begrenzt, wie viele lange Anfragen ein GPU-Server halten kann. Laut i14-Whitepaper hält Sugarglider Speicher und Rechenaufwand pro Token konstant; auf vier H200 fasse das 120B-Modell 453 Anfragen mit einer Million Tokens, Nemotron 3 Super nur 14. Es meldet 73,3 Punkte im RULER mit 13 Aufgaben bei einer Million Tokens, laut Firma der beste Wert eines Modells mit konstantem Speicher. Die Zahlen stammen von i14; abzuwarten sind unabhängige Tests und breiterer Zugang.
Die wichtigsten Fakten
- Basiert auf Nvidia Nemotron 3 Nano 4B und Nemotron 3 Super 120B-A12B
- 1/32 des Speichers des Ausgangsmodells bei einer Million Tokens
- 453 statt 14 parallele Anfragen mit einer Million Tokens auf vier H200
- 73,3 im RULER mit 13 Aufgaben bei einer Million Tokens
- Speicherbudget wird bei der Inferenz festgelegt