Speculative Forcing：让视频生成不再为每个Token重复去噪

导语

自回归视频生成的一项优势，是能够像流式系统一样逐步输出内容。但在少步数生成器中，每个Token通常仍会被统一处理到最后一个去噪步骤：无论它早已稳定，还是仍然需要修正，都要承担相同的计算成本。来自NAVER AI Lab的研究提出 Speculative Forcing，试图把这种“一刀切”的去噪流程改成按Token分配计算。

核心方法

该框架的关键并不是减少整个模型的去噪轮数，而是识别哪些Token已经可以提前结束。模型在中间步骤会产生接近干净内容的估计，这些估计被视为候选草稿。验证器随后评估它们是否足够可靠：

• 提前接受并冻结：如果某个Token与最终完整采样结果的差距预计已经很小，就将其作为最终输出，不再执行后续去噪。
• 保留上下文作用：被冻结Token的键和值缓存仍然保留，因此它们不会从后续生成的上下文中消失。
• 按Token继续计算：尚未稳定的Token继续接受去噪，直至达到可接受状态或完成全部步骤。
• 两类验证器：一种不需要额外训练，依据与干净内容的相似度及跨步骤稳定性作判断；另一种读取冻结生成器的中间特征，学习估计Token距离最终结果还剩多少差距。

实验表现与边界

研究覆盖短视频、长视频以及世界生成场景。对于LongLive，Speculative Forcing在约每个Token 1.7个去噪步骤的平均开销下，保持与四步生成器相当的质量，并在不同设置中达到41.7和37.8帧每秒，速度超过原流程的1.5倍。面对可见内容会随镜头运动持续变化的Lingbot-World 2.0，它以约2.5个去噪步骤每Token维持质量，速度达到24.5帧每秒，提升约1.35倍。

这些结果说明，视频生成中的计算需求并不均匀：有些区域很快稳定，有些区域则需要更多迭代。逐Token验证因此可能比简单压缩全局采样步数更灵活。不过，提前接受的可靠性仍取决于验证器，而复杂运动或内容变化可能提高误判风险。研究材料展示的是方法与基准结果，尚不足以说明它在所有模型和硬件平台上都能获得相同收益。

意义与影响

Speculative Forcing的价值在于把“早期预测”转化为可执行的计算调度策略。它没有简单牺牲画质换取速度，而是尝试跳过已经没有必要的重复精化，同时保留未稳定部分的计算预算。对于实时视频、长视频续写和交互式世界模型，这类细粒度的推理优化有望降低延迟与算力压力。更广泛地看，它也提示生成模型的推理流程可以从固定步数，转向由内容难度驱动的动态计算。

来源：Hugging Face Daily Papers