Flex-RSI、AIエージェントが自らのハーネスを改善できるかを測るベンチマーク

なぜ重要か

AIが自らを動かすツールや足場を改良する再帰的自己改善は、予測者が最も注視する道筋の一つだが、直接測るベンチマークは少ない。Flex-RSIは、改善役のエージェントが視覚・ロボティクス課題で実行役エージェントのハーネスを修正し、その改善度を採点する。論文は、成功か失敗かの二値フィードバックがオープンウェイトモデルの伸びを妨げると結論づけた。査読前のプレプリントである。クローズドな最先端モデルの結果と追試が注目点だ。