LLM强化学习中的训练—推理错配：问题从何而来，如何修正

导语

在大语言模型的强化学习中，“on-policy”通常意味着训练样本由当前策略直接生成。然而，实际系统很少由同一个组件完成全部工作：推理引擎负责高吞吐采样，训练器负责计算损失和梯度，两者可能使用不同的数值实现，也可能因异步执行而持有不同版本的模型参数。由此产生的训练—推理错配，会让原本应当是在线学习的数据逐渐变成离线或偏离策略的数据。

来自乔治·华盛顿大学团队的这项研究，重点不是简单比较不同修正技巧，而是追问：不同来源的错配，是否需要不同类型的校正？

核心发现

• 错配有两个来源。 研究通过在采样器的权重上重新评估训练器，将每个采样 token 的误差精确拆成两部分：推理引擎本身的数值差异，以及训练器相对于采样器的策略滞后。
• 数值差异更像固定偏置。 在训练过程中，这类差异大致保持稳定，因此会持续以近似固定的方式影响更新。研究发现，在每个前缀条件下对得分进行中心化，可以去除其主要偏置。
• 策略滞后会自我放大。 训练器持续更新后，采样器仍使用旧参数。旧数据造成的偏差会进入下一轮更新，进一步拉大两套权重的距离，形成“滞后—偏差—更大滞后”的反馈回路。
• 重要性加权并非总能解决问题。 它只有在策略比率仍较集中时才有效。以Qwen3-1.7B为例，当该比率的有效样本量下降到一半以下时，单纯依赖重要性修正会失效。

DLC如何工作

基于上述拆分，论文提出“差异—滞后校正”（Discrepancy-Lag Correction，DLC）。它首先对数值差异进行中心化，减少稳定偏置；随后以采样器权重为参照，对策略滞后的重要性比率进行裁剪；当有效样本量低于一半时，则重新同步采样器与训练器，而不是继续放大不可靠的校正权重。

实验结果显示，在Qwen3-0.6B和Qwen3-1.7B上，使用陈旧采样器时，DLC将训练轨迹与on-policy训练之间的KL差异控制在两次独立on-policy训练之间KL差异的两倍以内。研究还指出，重新同步能够阻止一些仅靠逐 token 修正仍无法避免的训练崩溃，而只在采样器前缀上测量KL并不一定能及时发现这类风险。

意义与影响

这项工作提供了一个更具诊断性的视角：训练—推理错配不应被当作单一噪声处理。近似恒定的数值偏差适合采用中心化方法，随训练演化的策略滞后则需要比率控制和参数同步。对需要异步采样、分离式推理与训练的大模型强化学习系统而言，这意味着监控重点不应只放在最终KL或奖励曲线上，还应跟踪策略比率的集中程度与有效样本量。

DLC目前展示的是一种系统化的稳定化思路，而不是对所有强化学习场景的普适保证。它的价值在于把错配的来源、演化机制和修正动作对应起来，为后续设计更可靠的LLM强化学习基础设施提供了可操作的分析框架。

来源：Hugging Face Daily Papers