异步强化学习的关键，不只是重要性采样

导语

异步强化学习的优势很直接：rollout 负责持续采样，learner 同时更新模型，减少两者相互等待。但代价是，训练所使用的样本往往由更旧的权重生成。vLLM Blog 最新文章介绍的 REINFORCE Zero 提出，一个经常被混淆的问题是，异步训练中的偏差并不只有“权重过时”这一项。

两种不同的偏差

当 learner 使用第 k 版权重训练、样本来自第 v 版权重时，重要性采样可以用当前策略概率与采样时概率的比值进行修正。不过，rollout 和训练端即使加载完全相同的权重，也可能因为算子实现、精度处理或执行路径不同，得到不同的 token logprob。这就是内核不匹配。

权重滞后通常沿着策略更新轨迹平滑变化，适合由重要性采样处理；内核不匹配则会随 batch 组成和数值执行产生波动。素材引用的实验中，对齐内核后，重要性权重偏差指标的峰值与中位数之比为 1.50；使用标准内核时则达到 442.54。后者说明，单靠重要性采样并不能稳定地消除计算不一致带来的异常波动。

REINFORCE Zero 怎么做

该方法包含三步：

• 让 rollout 与 learner 对相同权重、相同 token 计算出逐位一致的 logprob；
• 使用 token 级、不裁剪的重要性采样，不设置序列或 token 拒绝门槛；
• 采用按组奖励均值计算的优势，直接优化 REINFORCE，不引入价值模型。

不裁剪的原因在于，精确的概率比值可以保持期望梯度的一致性，而裁剪通常会引入偏差。稳定性的前提，则是先移除内核差异，否则极端权重和梯度波动仍会放大训练风险。

实验表现与影响

在标准内核下，rollout 到 learner 的 KL 会持续上升，AIME24 pass@1 从 34.27% 降至 13.96%，最大梯度范数达到 38.27；对齐内核后，KL 保持平稳，REINFORCE Zero 不需要拒绝样本。Qwen3-4B 配合 Python 工具时，即使策略延迟达到 64，训练 5,000 次更新仍能将平均奖励从 0.287 提升到约 0.78。

在 16 张 GPU、12,000 次更新的比较中，对齐内核的异步方案训练步吞吐达到同步训练的 2.40 倍；在 1.5B 推理任务上，延迟为 2 和 8 的异步版本也取得接近同步训练的结果。相关方法已扩展到 DeepSeek-V4.1-Flash、Kimi K3.1 及 AMD MI355X。

这项工作的意义不在于简单宣称“异步一定更快”，而在于把系统误差拆开处理：先保证计算一致，再用统计修正应对策略滞后。对于工具调用、长上下文和大规模智能体训练，这种思路可能比增加样本过滤规则更容易扩展，但实际收益仍取决于内核对齐成本、硬件平台和具体训练任务。

来源：vLLM Blog