Thinking Machines、ノートPCで動くオープンウェイトのループ型Transformer「Inkling 2 Mini」を公開

総パラメータ264億の混合専門家モデルで、中間層をトークンごとに3回実行し、容量は約20GB。同社はDeepSWE v1.1とVals Index v2.2で1000億未満のオープンモデルの首位だとしている。
なぜ重要か
小型オープンモデルの多くは品質とサイズを引き換えにするが、Thinking Machinesは中間層を繰り返し使うことで、思考の連鎖を長く書かずにトークンあたりの推論量を増やした。同社はこれが監視可能性にとって重要だとし、可変ループの研究版はループを増やしても思考の連鎖が読みやすく、エージェント的妨害のテストで得点が上がらなかったと報告している。ARC PrizeはARC-AGI-2で49.3%とした。独立したコーディング評価と、他社がローカルモデルにループ構造を採用するかが注目点だ。
要点
- 総パラメータ264億、アクティブ34億
- 中間層をトークンごとに3回実行
- 約20GB、主にNVFP4
- DeepSWE v1.1:48.2%、Vals Index v2.2:46.5%
- ARC-AGI-2:49.3%(ARC Prize)
- 可変ループの研究モデルも公開