Ai2のStateBench、入力が長くなると最先端モデルが状態変化を追えなくなると示す
このベンチマークはKrohn-Rhodes理論に基づき状態追跡タスクを4段階に分類。最難関ではGemini、Claude、GPTの各モデルが破綻し、タスクで訓練した再帰型・ハイブリッド型はTransformerより長く汎化した。
要点
- 4段階：R自明、非周期、可解、一般有限
- Krohn-Rhodes理論に基づく
- Gemini 3.8 Flash、Claude Opus 5.5、GPT-6などを検証
- 訓練した再帰型・ハイブリッド型はより長く汎化