Thinking Machines 发布 Inkling：近万亿参数的开放多模态模型

导语

Thinking Machines 在 Hugging Face 上发布了开放多模态模型 Inkling。它最醒目的标签是“近 1T 参数”“1M 上下文窗口”以及原生接收图像、文本、音频输入。与许多只在文本模型外接视觉或语音模块的方案不同，Inkling 的定位更偏向统一的多模态推理底座，并明确面向后续领域适配和微调。

核心要点

• 规模与稀疏计算：Inkling 拥有 975B 总参数，但采用 Mixture-of-Experts 架构，每次推理约 41B 参数处于激活状态。模型包含 256 个专家，并结合路由专家与共享专家，以在规模和推理效率之间取得平衡。
• 原生多模态输入：模型可处理文本、图像和音频。图像侧使用分层 MLP patchifier 将像素逐步合并为 patch embedding；音频侧将波形转换为离散化 mel 频谱，再通过音频嵌入塔形成输入表示。
• 长上下文与注意力设计：Inkling 支持 1M 上下文窗口。它没有采用常见 RoPE，而是使用相对注意力，将位置信息引入注意力 logits；同时交替使用滑动窗口注意力和全局注意力，比例为 5:1，最后一层使用全局注意力以增强表示。
• 局部建模补充：模型还引入短一维卷积 SConv，读取当前 token 与前若干隐藏状态，承担部分局部模式建模压力，让注意力和 MoE 更专注于其他表示能力。
• 推理生态已接入：Hugging Face 表示 Inkling 已获得 transformers 的 day-0 支持，并可在 SGLang、vLLM 等推理引擎中使用，也提供面向 llama.cpp 的 ggml 量化选择。

意义与影响

Inkling 的发布说明开放模型正在进入更大规模、更长上下文和更原生多模态的竞争阶段。它不是单纯追求文本生成能力，而是试图把图像、音频与文本推理放在同一个 decoder-only 框架中处理。这对需要跨模态理解的应用很有吸引力，例如医学影像与文本说明联合分析、音频会议内容理解、图文资料检索和多模态智能体工作流。

不过，它的使用门槛也非常现实。BF16 检查点需要约 2TB 显存，NVFP4 版本也需要约 600GB 显存。这意味着多数开发者难以直接本地运行完整模型，更可能通过托管推理、服务商路由或量化方案进行试用。对于企业和研究机构而言，Inkling 的价值可能更多体现在作为可微调的开放多模态基础模型，而非即插即用的消费级模型。

总体来看，Inkling 把“开放”“超大规模”“多模态原生输入”和“长上下文”放在了同一个模型发布中。它能否成为新一代多模态应用的底座，还取决于真实任务表现、部署成本和社区适配速度，但其架构选择和生态支持已经为开发者提供了一个值得关注的新选项。

来源：Hugging Face Blog