ZH ▾
SNAPE REP RT 头版 →
已证实前沿11月20日 20:17 UTC

Thinking Machines 发布开放权重循环 Transformer 模型 Inkling 2 Mini,可在笔记本电脑上运行

Thinking Machines Lab announcement card for Inkling 2 Mini.
Thinking Machines Lab

这款 264 亿参数的混合专家模型每个词元将中间层运行三次,占用约 20GB;该实验室称其在 DeepSWE v1.1 和 Vals Index v2.2 上领先所有 1000 亿参数以下的开放模型。

在 Thinking Machines Lab 阅读全文 分享

为何重要

多数小型开放模型以质量换体积,Thinking Machines 则重复使用中间层,让模型在不写更长思维链的情况下对每个词元进行更多推理。该实验室称这对监控很重要,并报告称一个可变循环的研究版本在增加循环次数时思维链仍可读,在智能体破坏测试中的得分也没有升高。ARC Prize 列出其 ARC-AGI-2 成绩为 49.3%。接下来值得关注独立的编程评测,以及其他实验室是否会在端侧模型中采用循环架构。

要点

  • 总参数 264 亿,激活 34 亿
  • 中间层每个词元运行三次
  • 约 20GB,主要为 NVFP4
  • DeepSWE v1.1:48.2%;Vals Index v2.2:46.5%
  • ARC-AGI-2:49.3%(ARC Prize)
  • 同时发布可变循环研究模型

来源

更多前沿报道
Snape Report 更多报道头版 →