Thinking Machines 发布开放权重循环 Transformer 模型 Inkling 2 Mini,可在笔记本电脑上运行

这款 264 亿参数的混合专家模型每个词元将中间层运行三次,占用约 20GB;该实验室称其在 DeepSWE v1.1 和 Vals Index v2.2 上领先所有 1000 亿参数以下的开放模型。
为何重要
多数小型开放模型以质量换体积,Thinking Machines 则重复使用中间层,让模型在不写更长思维链的情况下对每个词元进行更多推理。该实验室称这对监控很重要,并报告称一个可变循环的研究版本在增加循环次数时思维链仍可读,在智能体破坏测试中的得分也没有升高。ARC Prize 列出其 ARC-AGI-2 成绩为 49.3%。接下来值得关注独立的编程评测,以及其他实验室是否会在端侧模型中采用循环架构。
要点
- 总参数 264 亿,激活 34 亿
- 中间层每个词元运行三次
- 约 20GB,主要为 NVFP4
- DeepSWE v1.1:48.2%;Vals Index v2.2:46.5%
- ARC-AGI-2:49.3%(ARC Prize)
- 同时发布可变循环研究模型