导语
Thinking Machines 发布 Inkling 2 Mini 的同时,vLLM 宣布提供首日推理支持,覆盖 NVIDIA Blackwell、Hopper 和 DGX Spark。值得关注的不只是模型规模,而是它把部分 Transformer 层设计成循环结构:中间层共享权重重复计算,层与层之间还通过消息传递交换信息。这要求推理框架处理的不再是简单的逐层前向,而是多轮计算与多组缓存。
核心要点
- 循环核心与独立缓存。 模型共 24 层:前 6 层作为前奏,后 6 层作为尾声,中间第 6 至第 17 层运行三轮。三轮使用同一套权重,但每轮各自保存 KV 缓存和卷积状态。后续轮次不会直接接收上一轮完整输出,而是读取上一轮产生的消息,再由带门控的控制器将消息合入各子层输入。
- 多模态 MoE 与投机解码。 Inkling 2 Mini 有 260 亿总参数、35 亿激活参数,支持最长 100 万 token 上下文,并包含视觉编码器。模型使用原生 DSpark 投机解码器;vLLM 也复用 Inkling 2 Small 的融合算子,并针对消息读取、门控合并和归一化等环节做融合,减少直接实现时需要启动的多个算子。
- 研究检查点允许调参。 TML-d24-varloop-research 可在启动时设置循环轮数,也可选择让各轮共享一份 KV 缓存。轮数减少通常更快,增加则可能带来更高质量;共享缓存会让后续轮次覆盖先前缓存,但卷积状态仍按轮保存。固定循环版本 Inkling 2 Mini 不接受这两项设置,DSpark 也要求使用默认轮数。
性能与意义
vLLM 给出的单张 GB200、TP1、4K 上下文、仅前向测试显示,循环轮数从一轮增至三轮时,batch 1 解码步耗时从 1.51 毫秒升至 3.85 毫秒,batch 32 从 3.81 毫秒升至 8.11 毫秒;对应 KV 缓存容量由 35.2 万 token 降至 17.5 万 token。三轮共享 KV 缓存时耗时近似不变,容量为 19.4 万 token。这些数字只反映所述测试条件,不能直接外推到其他硬件或负载。
精度方面,vLLM 表示其数据类型、量化和 FP32 消息合并方式与参考实现保持一致,差异主要来自归约顺序;在相同输入下,MoE 输出一致。测试覆盖长上下文检索、MMMU-Pro、HLE、GSM8K 等任务。整体来看,这次支持的价值在于展示了推理框架如何把循环模型映射为常规缓存层,并通过算子融合控制额外开销;对部署者而言,循环次数、缓存策略与吞吐容量需要结合实际任务权衡。vLLM 还支持通过 SkyRL 为该模型提供强化学习服务。
来源:vLLM Blog
评论
正在确认登录状态……
正在加载评论……