Un chercheur propose des « états de croyance généralisés » pour décoder et orienter ce que représentent les modèles de séquences

L'essai d'Artemy Kolchinsky sur LessWrong définit des statistiques de faible dimension, mises à jour récursivement et suffisantes pour prédire, et les relie à un transformer jouet entraîné sur un processus de Markov caché simple, où le cache KV joue un rôle clé ; c'est un billet d'un seul auteur, non évalué par des pairs.