StateBench, da Ai2, mostra que modelos de ponta perdem o controle de estados que mudam quando a entrada cresce
O benchmark divide tarefas de rastreamento de estado em quatro níveis baseados na teoria de Krohn-Rhodes; nos mais difíceis, modelos Gemini, Claude e GPT falham, enquanto modelos recorrentes e híbridos treinados nelas generalizam mais que transformers.
Fatos principais
- Quatro níveis: R-trivial, aperiódico, solúvel, finito geral
- Baseado na teoria de Krohn-Rhodes
- Modelos testados incluem Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6
- Modelos recorrentes e híbridos generalizam mais quando treinados