ZH ▾
SNAPE REP RT 头版 →
已证实科学与数学11月03日 17:15 UTC

Ai2 的 StateBench 发现，输入变长时前沿模型难以追踪不断变化的状态

Line diagram from Ai2's StateBench post illustrating how a tracked state changes step by step
Ai2

该基准依据 Krohn-Rhodes 理论把状态追踪任务分为四个难度级别；在最难的级别上，Gemini、Claude 和 GPT 模型表现崩溃，而在这些任务上训练的循环和混合模型比 Transformer 泛化得更远。

在 Ai2 (Hugging Face blog) 阅读全文 分享

要点

  • 四个级别：R-平凡、非周期、可解、一般有限
  • 基于 Krohn-Rhodes 理论
  • 测试模型包括 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6
  • 训练后循环和混合模型泛化更远

来源

主编: Haydn Snape

更多科学与数学报道
Snape Report 更多报道头版 →