扩散模型的采样误差，或许可以被“纠错”

扩散模型通常通过多轮去噪，将随机噪声逐步还原为图像。问题在于，训练阶段的去噪器主要接收“真实图像与噪声混合后”的样本；进入推理阶段后，它接收到的往往是前一步模型预测得到的结果。只要早期预测存在偏差，后续步骤就可能在带有误差的输入上继续工作，形成逐步累积的偏差。这种训练—推理之间的输入差异，也被视为扩散模型在缺少额外引导时表现不稳定的潜在原因之一。

《Correction Training for Diffusion Models》提出的思路并不是重新设计整个扩散过程，而是在基础去噪器之外增加一个纠正器。其核心做法包括：

• 基础去噪器先给出当前时间步的干净样本预测；
• 纠正器以这份预测作为输入，并以同一个真实目标进行训练；
• 采样时，纠正器对中间预测进行进一步修正；
• 在推理阶段，纠正操作还可以重复应用于自身输出，以继续改善结果。

这套训练方式把“如何修正基础模型的预测”变成了明确的学习任务。与单纯依赖采样策略或额外引导不同，纠正器直接针对基础模型在推理路径上产生的预测工作，因此目标是缩小模型在训练数据分布与实际采样轨迹之间的落差。论文强调，及时修正中间步骤的结果，有助于避免早期伪影一路传递到最终图像。

作者在DiT、SiT和JiT等架构上评估了该方法，并报告其改善了无引导生成的FID表现，在无条件生成场景中也取得了具有竞争力的结果。无分类器引导通常能帮助扩散模型提高视觉质量，但可能带来多样性下降或过度饱和等问题。该方法的价值在于，它尝试从模型预测本身入手，在提升质量的同时尽量保留多样性，而不是单纯加大外部引导。

从方法定位看，纠正训练提供了一种相对模块化的改进路径：基础模型可以继续承担主要生成任务，新增纠正器则负责处理采样过程中暴露出的预测误差。它是否适用于更多分辨率、数据集和采样步数，仍需结合完整论文与后续实验判断；但这一工作提示，扩散模型质量提升不一定只依赖更强的引导或更大的主干，也可以通过显式学习“如何修正自己的输出”来缓解迭代生成中的误差累积。

来源：Hugging Face Daily Papers