DiffusionART：让扩散模型强化学习更高效、更稳定

导语

扩散模型已经能够生成高质量图像和视频，但如果希望进一步优化审美、运动质量或提示词遵循度，仅依靠最大似然训练往往不够。在线强化学习提供了一条直接路径：模型生成样本，再依据黑盒奖励调整参数。不过，扩散模型的多步去噪过程也让奖励究竟应归因于哪一步变得复杂，训练效率和稳定性因此成为主要瓶颈。

KlingAI Research 的新工作 DiffusionART，正是针对这一问题提出的强化学习方法。论文将其定位为一种更高效、稳定且可扩展的扩散模型奖励优化方案，并在图像与视频生成实验中进行了验证。

核心要点

• 重新处理奖励信用分配。 以 Flow-GRPO 为代表的反向过程方法需要在多个去噪步骤之间分配最终奖励，容易带来较高的计算成本和不充分的信用分配。DiffusionART 转而在前向过程的状态上组织奖励信号。
• 聚合每个提示词的奖励方向。 方法不会简单地对正样本和负样本分别施加更新，而是先聚合同一提示词下的奖励信息，形成一个共同的、能够改善奖励的方向。论文认为，这种“先聚合、再倾斜”的设计可以从机制上消除 NFT 类目标中的隐藏前向—反向一致性力。
• 用自适应恢复替代 EMA 调参。 DiffusionNFT 依赖经过谨慎设置的指数移动平均训练来稳定优化。DiffusionART 增加了带信任区域掩码的第二次更新，使模型能够根据参数漂移程度进行恢复，而不需要为每个任务反复调节 EMA。
• 兼容不同奖励形式。 该方法不要求奖励模型可微，也能在每个提示词使用更少样本时保持效果；论文还给出了支持成对奖励模型的 DiffusionART-Pairwise 版本。

实验结果与意义

在图像和视频生成实验中，作者报告 DiffusionART 无需针对不同任务进行专门调参即可保持较高的训练效率和稳定性。尤其是在 HunyuanVideo-13B 上，使用视觉质量与运动质量等权组合奖励时，DiffusionART 达到 DiffusionNFT 后期平均奖励水平所需的 GPU 小时数少 12.02 倍；达到 Flow-GRPO-Fast 相应水平时则少 11.72 倍。同时，其平均训练奖励分别高出 28.8% 和 53.0%。

这些结果的价值不只在于单项指标提升。视频扩散模型的强化学习通常需要大量采样和昂贵的多步推理，如果奖励更新能更有效地利用每批样本，训练成本就可能成为更可控的工程变量。DiffusionART 将改进重点放在奖励信号的组织方式和模型漂移的恢复机制上，为扩散模型在线强化学习提供了不同于单纯增加采样量或依赖复杂调参的思路。

不过，论文摘要和页面信息主要呈现方法设计及总体实验结论，具体任务设置、奖励构成和实现细节仍需结合完整论文与代码进一步核验。对于希望将黑盒偏好直接用于图像、视频生成优化的研究者而言，DiffusionART 的主要启发在于：稳定性不一定只能依靠更强的外部约束，也可以从奖励更新本身的结构中获得。

来源：Hugging Face Daily Papers