ENCORE：让编程智能体从示范中发现机器人操作策略

导语

机器人收到“把物体放到指定位置”这样的指令时，真正困难的往往不是理解名词，而是补全没有写出来的操作细节：从哪里接近、如何抓取、先接触哪个部位、何时释放，以及怎样判断任务已经完成。传统方法通常需要大量训练数据，或者依赖智能体不断试错。论文提出的ENCORE则尝试把少量示范变成一种可读的“搜索先验”，让编程智能体先观察，再写出可执行策略。

核心方法

ENCORE的关键不在于直接把示范当作训练样本，而在于建立一个确定性的示范整理流程。系统会从每段演示中提取多视角关键帧、夹爪开合等事件、连续画面条带，以及完整的运动轨迹，形成供智能体分析的证据包。

随后，编码智能体通过固定的感知和动作接口阅读这些信息，编写机器人策略程序。它可以在有限的开发阶段运行程序、观察结果并进行修改；策略冻结后，才进入不会透露成功信号的封闭评测。这种设置重点考察智能体能否根据示范推断操作结构，而不是靠评测反馈临时修补答案。

实验结果

• 在LIBERO-PRO的扰动任务上，带示范时，智能体生成的第一版程序已经能够完成约一半任务；没有示范时，仅有一个任务成功。
• 冻结后的程序取得96.3%的成绩，高于使用相同语言模型、但采用既有智能体方案的89.3%。
• 在目标描述不完整的RoboDojo任务中，没有示范时程序无法成功；示范为任务结果和操作方式提供了必要线索。
• 方法还被部署到真实双臂机器人上，分别用五次示范学习立方体交接和杯子翻转。

意义与局限

ENCORE展示了一条不同于“扩大训练集”的路线：示范可以作为上下文中的结构化证据，帮助代码智能体缩小策略搜索空间。对机器人而言，这尤其重要，因为自然语言指令经常只描述最终意图，却省略接触顺序、动作幅度和完成标准。将视频与轨迹整理成智能体可读的中间表示，也为视觉理解、程序合成和物理执行之间建立了更清晰的接口。

不过，现有结果主要来自特定基准、预设API和有限开发试运行。示范质量、视角变化、物体差异以及更复杂环境中的泛化能力，仍需要进一步验证。ENCORE的价值因此不仅在于成绩本身，也在于它把“看示范学操作”转化成了一个可检查、可迭代、可冻结的程序发现流程。

来源：Hugging Face Daily Papers