NeMo-DCR：用增量同步把万亿参数智能体强化学习权重更新提速约35倍

导语

在智能体强化学习中，训练集群负责更新策略，rollout 集群则持续用当前策略生成交互数据。两者分离有利于扩展计算资源，但也带来一个直接的系统瓶颈：每次策略更新后，都要把新权重送到服务端。如果模型达到万亿参数规模，传输完整检查点可能让下一轮训练长时间等待。

NeMo-DCR（Delta-Compressed Refit）针对的正是这一“refit”过程。论文指出，在 BF16 训练中，每一步真正改变存储值的权重元素约占 1%。因此，与其反复搬运完整模型，不如只发送变化部分。但增量同步并不只是做差分压缩：训练端和 rollout 端通常采用不同的分片与存储布局，接收端还必须得到与完整加载完全相同的比特结果。

核心方法

• 把训练分片映射到规范坐标。 NeMo-DCR 使用固定的仿射映射，将约 96% 的变化直接投影到检查点的规范坐标；无法直接映射的部分，则通过残余转换处理。
• 区分可压缩变化与覆盖写入。 对于经过加载流程后仍能保持存储位模式的变化，系统传输 XOR 掩码；其他变化使用绝对值覆盖写入，从而兼顾压缩效率与精确性。
• 复用原生加载器完成布局放置。 系统不要求为每种模型重新实现参数放置规则，也不需要先拼出完整张量，而是拦截 rollout 侧加载器的内存复制操作，在目标存储中原地应用更新。
• 为失败恢复设计提交机制。 接收端可以重试并覆盖已经写入的部分；联合提交则把当前策略版本与下一次增量所依赖的基线绑定起来，避免基线错配。
• 减少跨集群通信约束。 增量数据可通过对象存储或中继树传输，不依赖跨集群 collective；构造、传输和应用还可以重叠，在异步训练场景下与请求生成并行。

结果与影响

在 1 万亿参数模型、3% 元素发生变化的压力测试中，完整检查点传输耗时 87.5 分钟，而 NeMo-DCR 的权重同步耗时 2.5 分钟，约为 35 倍加速。素材还提到，在 3% 和 5% 变化率下，系统覆盖了 30B 至 1T 规模模型的 refit 场景。

这项工作的价值不只是节省带宽。它把“稀疏更新”“异构布局适配”“逐位一致性”和“中途失败恢复”放进同一套同步路径，因而更接近生产级训练—服务系统的实际需求。对于智能体强化学习而言，更快的策略下发意味着 rollout 集群能更及时地使用新策略，训练流水线也能减少等待。不过，收益仍会受到实际变化率、网络路径、存储吞吐和加载器实现的影响；增量同步也必须严格维护版本与基线关系，才能保证正确性。

来源：Hugging Face Daily Papers