研究者提出“广义信念状态”，用于解码和操控序列模型的内部表征

Artemy Kolchinsky 在 LessWrong 发文，定义了足以用于预测、可递归更新的低维统计量，并将其映射到在简单隐马尔可夫过程上训练的玩具 transformer 上，发现 KV 缓存起关键作用；这是单作者博文，并非同行评审论文。