AgenticRoboRL：让机器人规划器也能通过后训练持续进化

导语

当前的智能机器人系统，往往由语言模型负责拆解任务和决定下一步行动，再由机器人 harness 提供工具、技能或控制接口。过去的改进重点通常放在更强的工具、更好的执行循环和外部记忆上，规划器本身却常常直接依赖闭源大模型。AgenticRoboRL 提出了另一条路线：像训练编码智能体一样，对机器人系统中的规划模型进行后训练。

核心方法

AgenticRoboRL 的关键并不是重新设计机器人控制器，而是把规划器放回原有 harness 中训练。一个 harness 将语言模型与机器人工具连接起来，规划器可以调用 VLA 策略完成技能，也可以根据接口生成 Python 控制代码。训练时，工具和控制循环保持不变，只有规划器参数更新。

框架主要包含两个阶段：

• 监督微调：使用更强教师模型产生的成功轨迹，把每一步交互重新渲染成学生模型实际会收到的请求，帮助规划器学习有效的任务分解和工具调用方式。
• 多轮强化学习：让模型在模拟器和 harness 中完成完整任务，以模拟器给出的成功或失败结果作为奖励。由于机器人任务通常需要多次规划、调用和修正，训练过程采用多轮交互，而非单次文本生成。
• 跨 harness 适配：不同 harness 的执行机制并不相同。AgenticRoboRL 通过短小的专用适配器记录规划器调用、token 及其概率，并向统一训练流程报告任务分组和最终结果，从而在不改动执行组件的情况下复用 RL 管线。

目前给出的实现连接了两种 harness：一种调用 VLA 策略作为机器人技能，另一种生成控制代码。这个设计使研究重点从“换一个更强的执行系统”转向“让同一个规划器更好地使用现有系统”。

实验结果与意义

在 LIBERO-PRO 上，9B 参数规划器的成功率由 18.1% 提升到 71.0%，且不使用外部记忆。该结果接近使用外部记忆的 Codex（GPT-5.5）所达到的 72.1%。这组结果说明，规划能力并非只能通过扩大模型或堆叠上下文记忆获得，针对任务执行反馈进行后训练同样可能带来大幅收益。

更重要的是，论文展示了一种相对模块化的训练范式。机器人开发者可以保留现有 VLA、控制接口和执行循环，只需为 harness 提供连接任务结果与模型交互的适配层。这降低了跨系统开展强化学习的工程门槛，也为比较不同机器人工具链提供了统一接口。

当然，当前结论主要来自 LIBERO-PRO 模拟环境，成功率能否迁移到不同机器人、真实场景和更复杂的长程任务，仍需要进一步验证。后训练也可能使规划器更适应特定 harness，因此跨环境泛化能力值得持续评估。总体来看，AgenticRoboRL 把“训练机器人”进一步拆解为“训练机器人系统中的决策者”，为具身智能从依赖强模型走向模型能力自我提升提供了一个值得关注的方向。

来源：Hugging Face Daily Papers