扩散语言模型如何在测试时“多想一步”：频率感知重掩码带来更强推理探索

扩散语言模型（DLM）并不是一次性从左到右生成文本，而是通过多轮去噪逐步填充或修改词元。在这个过程中，模型需要持续判断哪些位置可以“提交”，哪些位置应重新掩码并继续探索。如何做出这个判断，直接影响最终答案的质量，也决定了额外推理计算能否真正转化为更好的结果。

这篇来自加州大学河滨分校研究团队的工作，关注的是DLM在测试时如何扩展推理能力。现有方法通常依据某一时刻的置信度或熵来判断词元是否可靠，但在数学推理等困难任务中，局部的高置信度并不一定意味着整体路径正确。模型可能很早就锁定一条看似合理、实际却无法导向答案的推理轨迹，后续采样也容易围绕这条轨迹收敛。

核心方法

• 两阶段分配计算预算：系统首先使用速度较快的基础采样器处理容易解决的问题，把有限的测试时计算留给基础策略未能解决的样本。
• 统计预测变化频率：在多轮去噪中，方法记录每个词元的预测曾经改变多少次。这个历史信号不同于单步置信度，能够反映模型在某个位置上是否持续尝试不同选择。
• 采用频率感知重掩码：对于预测变化更频繁的词元，策略优先进行相应的提交与重掩码安排，以鼓励采样过程跳出模型最偏好的单一路径，探索更多推理可能性。
• 面向困难问题继续采样：该设计并非对所有输入一律增加开销，而是把更复杂的解码策略集中到“基础方法已经失败”的问题上。

实验使用了LLaDA-8B-Instruct和Dream-7B-Instruct。在MATH-500上，相比一个较强的自适应计算分配基线，频率感知方案带来的绝对准确率提升最高分别为3.73和7.33个百分点。在HumanEval上，绝对覆盖率提升最高分别为11.39和10.98个百分点。研究还报告称，对于基础置信度感知策略在100次采样后仍未解决的问题，该方法能够额外恢复3.75%至18.75%的样本。

意义与影响

这项工作的关键并不是简单增加采样次数，而是改变额外计算的使用方式。它把去噪轨迹中的“预测是否反复变化”作为一种动态信号，用来补充瞬时置信度的不足。对于扩散语言模型而言，这提示测试时扩展不一定要依赖更大的模型或重新训练，也可以通过更合理的重掩码策略释放已有模型的探索能力。

当然，现有结果主要来自论文列出的两个DLM和数学、代码基准，频率信号在更广泛任务上的稳定性，以及它带来的实际推理成本，仍需要进一步评估。总体来看，该研究为扩散语言模型的推理时计算分配提供了一条清晰路径：简单问题追求快速提交，困难问题则保留更多改变轨迹的机会。

来源：Hugging Face Daily Papers