扩散模型经过强化学习(RL)后训练,往往能更好地生成高质量图像、按要求绘制文字,也更擅长组合多个物体。但这些能力依赖具体提示词,因此一个直观猜想是:模型必须学会复杂、随输入变化的新变换。新研究提出另一种解释——后训练带来的改善,可能很大程度上只是把模型已有的生成能力“推向”更合适的方向。
研究怎么做
研究者没有直接再训练整个模型,而是在冻结的扩散 Transformer 各层输出上添加一组固定的引导向量。向量不随提示词、文本 token 或采样随机种子变化,因而不能针对每个输入单独调整。研究团队先让这些向量拟合公开 RL 检查点的速度预测;这个拟合目标不包含奖励信号。
在 SD3.5-M 上,这组向量共有 0.29M 个参数,相比 RL 微调使用的 18.8M 参数 LoRA,参数量少约 65 倍。尽管形式简单,研究报告称,它在六个经过 RL 调整的图像模型上恢复了 90.0%—96.3% 的奖励增益;在两个视频模型上,对应比例分别为 89.8% 和 111.9%。后一个数字表示该方法在相应评测中的增益超过了对照 RL 检查点,并不意味着所有视频生成能力都全面领先。
研究还测试了另一种设置:引导向量从零初始化,直接接受在线 RL 训练。在 SD3.5-M 上,这种方案在文字渲染的 OCR 指标和反映人类偏好的 PickScore 上,取得了高于基于权重更新的 RL 方法的奖励增益。
这意味着什么
这些结果挑战了一个常见直觉:提升提示词相关能力,未必需要新增大量输入依赖的计算。固定向量也能显著改变模型行为,说明预训练模型或许已经具备相当一部分所需能力,后训练的作用则是调整这些能力在生成过程中的表达方式。对研究者来说,这提供了一种更轻量的分析与训练路径,也让“参数更新越复杂,能力才越强”的假设值得重新检验。
不过,研究证明的是这种简单参数化在所测试模型和奖励指标上的有效性,而不是所有 RL 增益都能被固定偏移解释。不同任务、模型规模或提示分布下,输入依赖的适配仍可能重要。固定引导还可能以某些能力或生成多样性为代价换取目标指标提升。因而更稳妥的结论是:在这些实验中,扩散模型 RL 后训练的大部分收益可以由激活层面的简单引导复现,后续仍需更广泛的评测来判断其适用边界。
评论
正在确认登录状态……
正在加载评论……