SpecPilot：让智能体自动寻找推测解码的系统优化路径

导语

推测解码的基本思路，是让轻量级草稿模型先提出一批候选 token，再由目标大模型并行验证。由于目标模型通常受显存带宽限制，这种方法可以减少目标模型逐 token 执行的次数。不过，理论上的并行收益并不会自动转化为线上性能：单请求时，目标模型每轮仍可能读取完整权重，却只接受少量 token；进入批处理后，验证工作又会稀释加速效果；不同模型、草稿器、GPU 和服务负载之间也很难共享同一套最优实现。

SpecPilot 如何工作

SpecPilot 没有把优化限定为某个固定算法，而是设计成一个面向部署的自动发现循环。每轮首先通过成本模型估计当前系统距离性能上限的主要差距，然后让多个并行代理分别探索候选方向，再将成功方案整合到下一轮。

这一流程包含几个关键设计：

• 面向瓶颈搜索：系统根据目标部署中的真实成本，决定优先优化权重读取、候选验证还是批处理，而不是盲目尝试通用技巧。
• 严格的一致性检查：SpecPilot 使用 token forcing，将优化版本的输出逐 token 与 stock 实现进行比对，用于发现可能通过改变输出分布来换取速度的“奖励投机”。
• 结构化记忆：已经验证的机制会被保存，并迁移到新的搜索轮次和部署组合中，减少重复探索。
• 算法与系统协同：搜索结果不只涉及内核或工程细节，也包括验证策略、权重表示和批处理组织方式。

论文报告了多类发现，包括通用的无损 12 位权重格式、面向混合循环目标模型的树形验证、两级验证机制，以及三种批处理机制。这些成果说明，推测解码的瓶颈并不总在草稿模型本身，验证路径和内存访问组织同样可能决定最终吞吐。

实验结果与意义

作者在四个目标模型、三个草稿器、两种 GPU 平台和五个基准上进行评估。在单请求场景中，SpecPilot 将相对自回归解码的加速比从 stock 系统的 4.46 倍提高到 10.87 倍；在批处理场景中，则从 1.94 倍提高到 3.93 倍。论文强调，这些改进不依赖额外训练，也不牺牲输出质量。

更重要的价值在于方法论：推测解码可能不是一个“一次设计、处处适用”的组件，而是需要根据目标模型、草稿器、硬件和服务模式共同调优。SpecPilot 将这一过程交给带有验证约束的智能体循环，为推理系统优化提供了一种自动化路径。不过，报告中的收益仍然与具体部署相关，实际应用时仍需在自身模型和负载上复现评估。

来源：Hugging Face Daily Papers