扩散语言模型并非恒定高速：任务、语言与正确性如何改变推理成本

扩散语言模型常被视为自回归模型之外的高效生成方案：它可以在一次前向传播中同时处理多个位置，并在生成过程中动态决定还要进行多少轮计算。但“每轮生成多个词”并不意味着所有任务的成本都相同。来自 UCLA NLP 的研究表明，扩散模型的速度会随着任务、语言以及输出是否正确而显著变化。

关键发现

研究人员在十类任务上分析了两种扩散语言模型，重点考察每个输出词平均需要多少次前向传播。结果显示，输入本身已经提供了较强约束时，模型通常可以更快完成生成。例如，直接复制文本或进行轻度语法修改的任务成本较低；故事创作等开放式任务则需要更多反复推断。在 DiffusionGemma 中，故事写作的单位词计算量超过语法纠错的三倍。

这种差异并不只是由输出长度造成。研究指出，两个因素能够解释相当一部分成本变化：第一，输出中有多少内容是相对于输入“新产生”的；第二，输出词汇在当前任务中有多罕见。换言之，模型越需要探索新的表达，或越常遇到低频词，就越可能延长扩散解码过程。

这一规律也出现在带有思考过程的回答内部。最终答案如果主要重复此前的推理轨迹，生成成本相对较低；如果答案引入了推理中尚未出现的新信息，模型往往需要更多计算。多语言实验则显示，分词更细、同样语义需要更多 token 的语言，不仅输出更长，每个 token 也可能需要更多前向传播，因此会叠加额外开销。

速度也能提示答案质量

研究最具应用价值的发现之一，是解码成本与正确性存在关联。在相同数学问题上，错误答案平均需要更多的单位词计算。基于这一现象，系统可以把候选答案的生成速度作为额外信号，对候选结果进行加权，而不是只依赖多数投票。研究报告称，这种方法在不增加额外推理成本的情况下，最高可带来 4.2 个百分点的提升。

意义与局限

这项工作说明，扩散语言模型的计算优势并非固定参数，而取决于输出有多大程度已经被输入、上下文或既有推理确定。对于改写、纠错和结构化生成，它可能更容易发挥并行解码的优势；对于开放式创作、低频表达和跨语言生成，实际收益则需要结合任务特征重新评估。

同时，解码速度不应被简单理解为正确性的充分证明。现有结论来自特定模型、任务和评测设置，速度与质量之间的关系能否稳定迁移到更多模型和领域，仍需进一步验证。不过，把“模型花了多少计算”纳入候选筛选和推理调度，为降低成本、提升可靠性提供了一个值得探索的方向。

来源：Hugging Face Daily Papers