FewStepRL：让少步扩散模型也能高效进行强化学习微调

扩散模型的强化学习后训练，通常需要反复让当前策略完成采样，再依据奖励更新模型。对于采用大量去噪步骤的模型，策略展开本身往往成为训练成本的主要来源。少步扩散模型可以显著缩短推理链路，但它也带来了一个容易被忽略的适配问题：少步模型描述的是一个时间区间上的平均速度，而许多既有强化学习目标假设模型提供的是某个瞬时状态下的速度。直接套用原有目标，可能无法准确对应少步模型的实际行为。

FewStepRL 的工作重点，不是提出单一的新奖励函数，而是建立一套将既有目标迁移到少步扩散模型的通用方法。研究将适配过程概括为三个阶段：

• 变换到 x 空间：把不同目标统一表达为对策略预测的约束。默认情况下，预测被写在干净样本端；对于转移或流映射目标，则明确保留其对应的中间层级。这样，原本分别从密度、速度或奖励角度定义的目标，可以在同一表示下比较。
• 分解梯度：将每个目标的梯度拆成两部分，一部分是向参考结果靠拢的自回归式回归，另一部分是由奖励带来的增量。换言之，不同算法在梯度层面的差异，主要可以归结为参考锚点和权重的选择。
• 适配锚点：根据少步模型的传输终点，或沿其切线方向计算锚点。若需要瞬时速度，则可以从模型本身恢复，也可以借助辅助网络获得。

基于这一框架，作者在同一套模块化代码中实现了少步版本的 FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD 和 ReFL。这样的设计价值在于，研究者不必为每一种强化学习目标重新构建完整的少步训练流程，而可以围绕锚点、权重和速度估计方式进行组合与比较。

实验结论呈现出较清晰的条件依赖。对于可微奖励，如果奖励梯度计算成本在可接受范围内，基于奖励梯度的方法通常表现最好；当奖励不可微，或其梯度难以负担时，DiffusionNFT 风格方法往往能在相对较少的训练迭代中取得较高奖励，不过单次迭代成本有时更高。研究还观察到，训练后额外增加推理步数并没有带来稳定的整体收益，但部分样本在推理步数增加到训练时的两至四倍后会出现可见改善。

FewStepRL 的意义在于，它把“少步模型如何做强化学习”从针对单个算法的工程改造，提升为一套可分析、可复用的适配框架。对于希望同时控制推理成本和奖励优化成本的扩散模型系统，这种统一视角有助于更清楚地选择训练目标，也提醒开发者：少步采样并不只是减少步数，还需要重新检查速度定义、奖励信号与策略更新之间的对应关系。

来源：Hugging Face Daily Papers