Ai2s StateBench zeigt: Spitzenmodelle verlieren bei längeren Eingaben den Überblick über wechselnde Zustände
Der Benchmark ordnet Zustandsverfolgung in vier Schwierigkeitsstufen nach der Krohn-Rhodes-Theorie; bei den schwersten versagen Gemini-, Claude- und GPT-Modelle, während darauf trainierte rekurrente und hybride Modelle weiter generalisieren als Transformer.
Die wichtigsten Fakten
- Vier Stufen: R-trivial, aperiodisch, auflösbar, allgemein endlich
- Basiert auf der Krohn-Rhodes-Theorie
- Getestet u. a. Gemini 3.8 Flash, Claude Opus 5.5 und GPT-6
- Rekurrente und hybride Modelle generalisieren nach Training weiter