WarpSAC：强化学习算法不该用同一套稳定器应对所有数据规模

导语

在离策略强化学习中，算法通常会把经验存入回放缓冲区，再反复利用这些数据更新策略与价值网络。过去，训练数据往往来之不易，因此参数归一化、双重 Q 学习等稳定化设计被广泛采用。但随着 GPU 并行仿真能够同时生成大量轨迹，训练面对的已不再是“数据太少”，而可能是“数据足够但质量和覆盖范围不同”。WarpSAC 试图回答一个实际问题：当数据规模改变时，是否也应该更换算法中的稳定器？

核心要点

• 稳定化机制存在数据 regime 依赖。 论文在八类基准任务中进行受控实验，发现参数归一化在回放覆盖较窄时有助于训练稳定，却可能在数据充足时限制价值函数拟合能力。
• 双重 Q 学习不必始终保持最保守。 在高吞吐量的操作任务中，裁剪双 Q 的必要性可以降低，单 Q 结构反而可能释放更多拟合空间。
• 样本年龄应被纳入回放设计。 WarpSAC 引入 Sample Weight Decay，对经验样本进行按年龄加权，让训练更有效地利用近期数据，同时保留回放机制的复用优势。论文指出，这种年龄偏置在不同数据条件下都有帮助，网络容量有限时尤为明显。
• 提供两种面向场景的版本。 WarpSAC-L 开启参数归一化并使用裁剪双 Q，面向数据有限的 CPU 级训练；WarpSAC-A 关闭参数归一化并采用单 Q，面向数据充足的 GPU 并行训练。

实验结果与意义

论文以 FlashSAC 作为对照，报告 WarpSAC 在九个 CPU 级环境上的归一化分数—步数 AUC 提升 4.5%，在十四个 GPU 并行环境上提升 23.1%。在 UnitreeG1TransportBox-v1 中，成功率由 19.8% 提升至 96.4%；在 MuJoCo Playground 上，平均归一化墙钟时间 AUC 提升 19.1%。研究还报告了 Unitree G1 仿真到现实部署速度提升 36.4%。

这些结果的价值不只在于一个新的 SAC 变体，更在于重新审视“稳定性”这一概念。稳定器并非越多越好，它们往往针对特定的数据覆盖、采样速度和网络容量设计。对机器人强化学习而言，训练平台已经从单机、低吞吐仿真逐渐扩展到大规模并行系统，算法配置也应随数据 regime 一起调整。

当然，现有结论仍主要建立在论文所列基准与硬件训练条件上。WarpSAC 是否能在更多任务、不同回放规模和其他连续控制算法中保持优势，还需要进一步验证。它最直接的启发是：部署离策略 RL 时，与其寻找一套固定的“最佳默认配置”，不如先判断数据是稀缺、密集还是高度并行，再选择相应的探索与利用策略。

来源：Hugging Face Daily Papers