JA ▾
SNAPE REP RT トップページ →
確認済みフロンティア11月20日 20:17 UTC

Thinking Machines、ノートPCで動くオープンウェイトのループ型Transformer「Inkling 2 Mini」を公開

Thinking Machines Lab announcement card for Inkling 2 Mini.
Thinking Machines Lab

総パラメータ264億の混合専門家モデルで、中間層をトークンごとに3回実行し、容量は約20GB。同社はDeepSWE v1.1とVals Index v2.2で1000億未満のオープンモデルの首位だとしている。

Thinking Machines Lab で読む 共有

なぜ重要か

小型オープンモデルの多くは品質とサイズを引き換えにするが、Thinking Machinesは中間層を繰り返し使うことで、思考の連鎖を長く書かずにトークンあたりの推論量を増やした。同社はこれが監視可能性にとって重要だとし、可変ループの研究版はループを増やしても思考の連鎖が読みやすく、エージェント的妨害のテストで得点が上がらなかったと報告している。ARC PrizeはARC-AGI-2で49.3%とした。独立したコーディング評価と、他社がローカルモデルにループ構造を採用するかが注目点だ。

要点

  • 総パラメータ264億、アクティブ34億
  • 中間層をトークンごとに3回実行
  • 約20GB、主にNVFP4
  • DeepSWE v1.1:48.2%、Vals Index v2.2:46.5%
  • ARC-AGI-2:49.3%(ARC Prize)
  • 可変ループの研究モデルも公開

出典

フロンティアの関連記事
Snape Report のほかの記事トップページ →