Speculative Diffusion：推理加速不止一个旋钮

导语

大语言模型推理加速长期面对一个基本矛盾：生成越快，通常越难维持输出质量。投机解码的经典做法，是让一个更快但能力较弱的草稿模型先提出多个 token，再由更强的验证模型检查。只要采用严格的接受机制，最终结果可以保持与验证模型一致，同时减少部分自回归计算。

扩散语言模型为草稿生成提供了另一条路径。它能够并行预测一批 token，因此可以用较少的扩散计算快速形成候选序列。不过，减少扩散步骤往往会牺牲生成质量。围绕这一现象，论文《Speculative Diffusion is a Tale of Two Tradeoffs》提出：速度和质量的调节并不只有“扩散做多少步”这一根旋钮。

核心要点

• 两类权衡同时存在。 第一个维度是扩散投入，即草稿模型在生成候选时使用多少计算。投入越少，草稿通常越快，但可靠性可能下降；投入增加则有助于提高候选质量，却会削弱加速收益。
• 接受标准也能成为调节器。 传统投机解码强调无损，即严格遵循验证模型的分布。论文讨论了更宽松的接受机制：允许部分与验证模型不完全一致的候选通过，以换取更高速度，但代价是输出质量可能下降。
• 联合调整比单独调整更完整。 如果只减少扩散步骤，系统只能沿着一条有限的速度—质量曲线移动；如果同时改变扩散投入和接受宽松度，就能探索更广泛的组合，寻找特定质量目标下更快的配置，或在相同速度下获得更好质量。
• 关注的是帕累托前沿。 研究并非简单追求某个单点的最高加速，而是考察不同质量要求下可达到的最佳速度。实验结果显示，联合变化两个参数能够扩展相对于单步扩散草稿的速度—质量帕累托前沿。

意义与影响

这项工作的关键价值，在于把“投机解码是否无损”从固定前提转化为可配置的系统设计选择。在对事实准确性、格式一致性或安全性要求极高的场景，系统可以采用更严格的接受标准，并增加扩散投入；在交互式应用或对细节误差更宽容的任务中，则可以适度降低两者，以换取更低延迟。

这一视角也提示，扩散草稿与自回归验证并不是简单的模型替换关系，而是一个需要共同分配计算预算的推理系统。实际部署时，最优设置可能取决于任务、硬件、验证模型以及用户对质量的容忍度。论文没有将某一组参数宣称为普适答案，而是强调在两个维度上共同搜索可行边界。

因此， speculative diffusion 的研究重点正在从“能否提速”转向“如何按需求提速”。未来，推理服务或许可以根据请求类型动态选择扩散投入与接受宽松度，在质量约束下更细致地管理延迟和算力。

来源：Hugging Face Daily Papers