ACCRUE：让机器人在学会新技能的同时保留旧本领

导语

机器人基础模型可以从示范中获得通用操作能力，但真正部署到现实环境后，机器人往往还需要通过强化学习适应具体任务。问题在于，机器人不只要“学会下一个技能”，还必须保留已经掌握的技能。传统持续学习方法通常关注灾难性遗忘，却多依赖离线或在策略更新；而离策略强化学习虽然样本利用率较高，却很少解决跨任务持续积累的问题。

ACCRUE（Continual Off-Policy Reinforcement Learning for Robot Foundation Models）正是针对这一矛盾提出的框架。它不重复训练庞大的机器人基础模型，而是让一个轻量级 actor-critic 学习器在多个任务之间延续，从已有强化学习经验中获得迁移收益。

核心方法

• 冻结基础模型，降低训练负担。 在强化学习阶段，视觉基础模型保持冻结，只训练紧凑的 actor 和 critic 网络，用于修正基础策略输出的动作。这样既减少额外 GPU 训练开销，也避免频繁改动基础模型导致表示不稳定。
• 跨任务继承策略和值函数。 完成一个任务后，actor-critic 不会被丢弃，而是直接带到下一个任务。继承的 critic 使用当前任务产生的转移数据进行适应，并为当前任务的 actor 更新提供价值指导；继承的 actor 则提供已有行为先验。
• 用少量历史轨迹抑制遗忘。 新任务训练时，系统从旧任务中保留少量 episode，并将当前策略向缓存的历史行为目标进行蒸馏。相比完整保存和反复采样全部历史数据，这种机制更轻量，同时能约束策略不要偏离已学技能过远。
• 保持回放兼容性。 方法使用固定视觉特征，使继承的学习器与 replay 数据在基础策略更新后仍能保持兼容。这是离策略持续学习能够稳定运行的重要条件。

实验结果

研究团队在接触丰富的装配任务上进行了仿真和真实机器人测试。真实世界实验从少量示范开始，再由实体机器人直接收集强化学习交互数据。基于 π0.5 与 FastTD3 的实验中，后续任务达到最近 20 个 episode 具有 95% 成功率的停止标准，大约需要 4 至 12 分钟机器人交互。

与每个任务都重新进行单任务强化学习相比，ACCRUE 在 AutoMate 装配任务上减少了 31.0% 至 68.5% 的机器人交互时间，在 NIST 装配任务上减少了 38.7% 至 42.9%。这些时间包含在线预热，但不包括示范收集和基础模型微调，因此反映的是强化学习阶段的实际机器人使用成本。完成完整任务序列后，六个此前任务共获得 118/120 次成功，总体成功率为 98.3%，显示出较低的遗忘程度。研究还在仿真中结合 GR00T 与 FastSAC 对 ACCRUE 进行了单独评估。

意义与局限

ACCRUE 的价值不只是让单个任务训练更省样本，而是把机器人后训练从“一次性适配”推进到可持续积累。通过把行为知识和值函数知识作为跨任务资产保存，机器人可以在后续任务中利用已有经验，而不是每次从基础策略重新开始。对真实机器人而言，这种设计尤其重要，因为实体交互通常比 GPU 训练更昂贵、更慢，也更受安全和设备寿命限制。

不过，现有结果主要集中在装配序列和特定基础模型、强化学习算法组合上。固定视觉特征、历史回放规模以及任务之间的相似程度，可能都会影响迁移效果。未来仍需验证该方法面对差异更大的任务、长期任务序列和更复杂环境时的稳定性。

总体来看，ACCRUE 提供了一条实用路径：保留大模型的通用能力，将持续适应集中在小型、可继承的强化学习模块上，从而在学习新技能与维护旧技能之间取得平衡。

来源：Hugging Face Daily Papers