StateBench d'Ai2 montre que les modèles de pointe perdent le fil des états changeants quand les entrées s'allongent
Le banc d'essai classe les tâches de suivi d'état en quatre niveaux fondés sur la théorie de Krohn-Rhodes ; sur les plus durs, les modèles Gemini, Claude et GPT échouent, tandis que les modèles récurrents et hybrides entraînés dessus généralisent mieux que les transformers.
Faits clés
- Quatre niveaux : R-trivial, apériodique, résoluble, fini général
- Fondé sur la théorie de Krohn-Rhodes
- Modèles testés : Gemini 3.8 Flash, Claude Opus 5.5 et GPT-6 notamment
- Les modèles récurrents et hybrides généralisent mieux une fois entraînés