返回文章列表

Thinking Machines发布Inkling 2 Mini:循环推理模型尝试走进笔记本

阅读约 3 分钟

Thinking Machines Lab发布开放权重模型Inkling 2 Mini,试图把更强的智能体编程能力带到本地设备。公司称,模型权重约占20GB,可在部分笔记本和桌面AI设备上运行;其研究人员还展示了模型在断网的MacBook Pro上制作可交互飞行模拟器。这个演示说明本地运行具备可行性,但不代表所有笔记本都能获得相同速度或体验。

核心要点

  • 用循环计算换取推理深度。 Inkling 2 Mini是循环Transformer,每个token都会让模型的中间层运行三次。公司认为,这种设计可以让模型在不把全部推理过程写进文本的情况下进行更多计算,并减少完成任务所需的输出token。
  • 参数规模与实际计算量并不相同。 模型总参数为264亿,采用混合专家架构,每个token激活约34亿参数;考虑循环后,权重激活量约为54亿。大部分权重以NVFP4格式训练和部署,最后四层使用MXFP8,这是其将权重体积控制在约20GB的组成部分。
  • 编程和工具使用是主要卖点。 按Thinking Machines公布的数据,模型在DeepSWE v1.1上得分48.2%,在Vals Index v2.2上为46.5%。公司还称,它在若干相近规模模型的搜索与工具使用测试中领先。不过,不同模型的评测配置并不完全一致,成绩应视为厂商报告,而非无条件的横向定论。
  • 循环有适用边界,也带来可监测性问题。 公司发布了用于研究的可变循环版本。其测试显示,增加循环次数能改善部分长上下文和串行推理任务,但对知识密集型测试帮助有限;循环增加时,思维链变短但仍可读,测试中也未观察到智能体破坏行为随循环增加而上升的趋势。这些结果来自特定实验,不能据此推断所有部署情形。

意义与影响

Inkling 2 Mini值得关注的地方,不只是参数量,而是把重复计算、低精度权重和专家模型组合起来,试图在有限内存中获得更强的任务处理能力。对开发者而言,开放权重和本地推理提供了实验与定制空间;对行业而言,循环架构展示了一条不同于单纯扩大参数规模的路线。

但“可在笔记本运行”仍取决于设备内存、软件栈和推理设置,20GB权重也不等于运行时只需20GB内存。其优势目前主要由公司公布的基准支持,实际效果仍需独立复测。循环计算可能让模型更善于处理复杂步骤,却不能替代外部检索来补足知识,也不能单独解决模型行为的监督问题。

来源:Web Search

评论

正在确认登录状态……

正在加载评论……

相关文章