DiFA：把扩散模型推理从“积分问题”改写为“状态估计”

导语

扩散模型的采样过程长期被理解为一个数值积分问题：模型在每一步给出噪声或数据预测，采样器沿着反向轨迹逐步推进，最终得到图像。论文 DiFA: Inference-Time Forward-Process Alignment for Diffusion Models 提出一个不同视角：这些逐步产生的数据预测并不是彼此独立、可被简单丢弃的中间量，而是带有相关性的连续观测。若能在推理阶段合理利用它们，就可能减少少步采样中的误差累积。

核心要点

• 从数值积分转向序列状态估计：DiFA 不把模型输出视作“精确估计器”的单次结果，而是承认去噪过程存在统计不确定性，并将推理时的数据预测细化问题建模为连续状态估计。
• 利用历史预测建立时间共识：方法引入因果历史缓冲区，把反向轨迹中多轮迭代的数据预测视作相关观测，形成与前向扩散统计结构对齐的 consensus anchor，即共识锚点。
• 借鉴 Kalman filtering 的思想：DiFA 会根据结构一致性与噪声水平兼容性，对历史预测进行加权聚合，而不是简单平均或只服务于数值积分。
• 用偏差引导保留细节：时间共识可能带来过度平滑，尤其会削弱纹理和残余细节。为此，论文加入 deviation guidance，让生成结果在保持稳定的同时保留必要的细节偏差。
• 无需重新训练：DiFA 是 training-free 框架，重点放在推理阶段的预测校准，因此可作为采样流程上的增强模块。

意义与影响

这项工作的价值在于，它重新审视了扩散模型推理中“历史信息”的用途。传统采样器通常把过去输出用于推进积分，而 DiFA 进一步把它们视为一组带噪观测，通过前向过程的统计规律来约束反向生成。对于少步采样场景，这一点尤其重要，因为步数减少后，每一次预测误差更容易被放大并传递到后续步骤。

从实验结论看，DiFA 在 CIFAR-10 和 ImageNet 上对 FID、IS、FD-DINOv2 等指标带来提升，并被描述为可适配不同采样器与架构，在像素空间和潜空间中都有增强采样稳定性与细纹理表现的潜力。需要注意的是，素材并未给出具体数值，因此更适合把它理解为一种推理范式改进，而不是单一基准成绩的竞赛。

如果这一思路被更多采样器吸收，扩散模型优化可能会从“更快积分”进一步走向“更可信的轨迹估计”：模型不只是在每一步计算下一个位置，也在持续校正自己对最终数据的判断。

来源：Hugging Face Daily Papers