ODE Policy：让机器人学习动作如何变化，而不只是预测动作

导语

许多机器人策略在离散控制时刻直接预测动作值。这样的设计虽然便于训练和部署，却把“动作应该如何连续变化”留给了策略自行学习。当系统以动作块为单位滚动执行时，相邻动作块的边界可能出现跳变，最终表现为机器人运动不够平滑，甚至影响精细操作和人形运动跟踪。

ODE Policy 提出了一种不同的建模思路：策略不直接学习下一步动作，而是学习动作随时间变化的向量场，再通过神经常微分方程将其积分出来。换言之，它把动作看作一条需要持续演化的轨迹，而不是一串彼此独立的离散数值。

核心方法

• 学习动作动力学：在模仿学习中，模型在短动作块上训练，使积分后的结果匹配示范目标；在强化学习中，则针对单个控制步骤学习动作变化。
• 从上一动作开始积分：部署时，新动作由前一动作演化而来。连续性由积分过程直接保证，而不是依赖额外的平滑后处理。
• 保留行为多样性：论文加入轻量级 diversity head，通过随机化向量场方向来表达同一观测下可能存在的多种行为，避免平滑化过程把策略限制为单一模式。
• 适配多种策略框架：该方法既可作为视觉运动策略，也可充当视觉语言动作模型和世界动作模型的动作头，还能用于基于模型的强化学习演员网络。

实验观察

论文将 ODE Policy 与包括流匹配在内的 14 个基线进行比较，覆盖单臂、双臂、灵巧手、运动控制和人形机器人等任务。摘要显示，在 LIBERO 的早期训练阶段，经过一个 epoch 后，ODE Policy 相较流匹配取得了更高的成功率、泛化表现和模式均衡性，报告数值分别为 5.9 倍、5.4 倍和 3.9 倍；动作生成速度则达到 10.8 倍。作者还表示，在多项真实机器人任务中，该方法取得最高成功率，并且生成的动作多数比人类示范更平滑。

意义与限制

这项工作的价值不只是让轨迹“看起来更顺”，更在于把物理运动中的连续性前置到策略表示层。对于需要稳定接触、双臂协同或高自由度控制的任务，连续动作动力学可能比逐点预测更契合执行器和环境的实际约束。同时，较快的动作生成也有助于提升闭环控制频率。

不过，现有材料主要提供了方法概述和汇总结果，尚不足以判断不同任务、控制频率或积分设置对性能的具体影响。ODE Policy 是否在复杂扰动、长时序误差累积和不同硬件平台上保持优势，还需要结合完整论文与更多独立复现实验评估。

来源：Hugging Face Daily Papers