StateBench de Ai2 halla que los modelos punteros pierden el hilo de los cambios de estado cuando la entrada se alarga
La prueba clasifica tareas de seguimiento de estado en cuatro niveles basados en la teoría de Krohn-Rhodes; en los más difíciles fallan modelos Gemini, Claude y GPT, y los modelos recurrentes e híbridos entrenados en ellas generalizan mejor que los transformers.
Datos clave
- Cuatro niveles: R-trivial, aperiódico, soluble, finito general
- Basado en la teoría de Krohn-Rhodes
- Modelos probados: Gemini 3.8 Flash, Claude Opus 5.5 y GPT-6, entre otros
- Los modelos recurrentes e híbridos generalizan más al entrenarse