Forscher schlägt „verallgemeinerte Belief States“ vor, um Repräsentationen von Sequenzmodellen zu dekodieren und zu steuern

Artemy Kolchinskys LessWrong-Essay definiert niedrigdimensionale, rekursiv aktualisierbare und für Vorhersagen ausreichende Statistiken und bildet sie auf einen Spielzeug-Transformer ab, der auf einem einfachen Hidden-Markov-Prozess trainiert wurde; der KV-Cache spielt dabei eine Schlüsselrolle. Es ist ein Einzelautor-Beitrag ohne Peer-Review.