机器人上下文学习：让示范真正转化为可迁移的行动

导语

机器人完成了任务，并不意味着它真正学会了示范中的要求。比如，同样是把物体放到目标位置，示范可能还隐含了避开某个区域、保持特定姿态或遵循某种顺序等约束。真正困难的问题是：机器人能否识别这些要求，并在物体、环境和执行条件发生变化后继续落实它们？

《In-Context Learning for Robots: Methods and Applications》是一篇围绕这一问题展开的综述。文章将机器人上下文学习（ICL）理解为一种部署阶段的适应机制：模型的神经参数保持不变，机器人利用示范和交互提供的上下文，调动已经具备的能力完成新任务。这一视角区别于重新训练模型，也需要与某些快速更新参数的学习方法区分开来。

四类连接“上下文”与“行动”的路径

综述的核心分类不是按照模型名称划分，而是考察教学信息最终通过什么接口影响执行：

• 上下文条件策略：将示范、视觉信息或交互历史作为条件，直接改变策略的动作分布。它的关键在于，策略是否能从上下文中保留任务的特定要求，而不是只输出一个大致可行的动作。
• 几何示范迁移：把示范中的轨迹、运动参考或空间关系对应到新的物体和环境中。此类方法的重点是建立可靠的对应关系，让原有动作结构能够适应新的几何条件。
• 世界模型控制：先根据上下文预测可能的未来，再利用预测结果选择动作。世界模型在这里承担了连接“理解示范”和“规划执行”的中间角色，但其效果取决于对环境变化和执行后果的建模能力。
• 技能与智能体执行：把上下文转化为可调用的技能、程序或更高层次的行动计划。它更适合处理组合任务，也便于加入记忆、恢复机制和经验复用。

这四类路径并非互相排斥。它们分别强调动作分布、运动参考、预测未来，以及技能或程序等不同的执行接口，反映出机器人学习中“知道要求”和“实现要求”之间的距离。

评估不能只看成功率

综述特别提醒，单一任务成功率不足以说明机器人是否真正响应了教学。实验至少应区分三个问题：机器人有没有理解示范提供的要求；当物体或环境变化时，执行器能否保持这些要求；过去保留的记忆和经验是否让后续学习变得更有效。

因此，示范忠实度、物理迁移能力、上下文响应性和经验复用价值，都应成为评估的一部分。对应关系、记忆、失败恢复和跨任务复用，也不应被视为执行阶段之外的附属功能，而是决定上下文能否产生实际价值的重要组成部分。

意义与影响

这篇综述的价值在于把机器人ICL从“给模型看几个例子”推进到一个完整的系统问题：上下文如何被表示，如何与环境建立对应，如何进入规划和控制，又如何在失败后被重新利用。它还把组合式任务获取与更长期的物理递归自我改进联系起来——机器人积累的经验，不仅应帮助它完成当前任务，还应提升它学习下一项任务的能力。

对于研究者而言，这套分类有助于设计更有针对性的实验；对于机器人系统开发者而言，它提示我们不能只追求通用策略的平均性能，还要验证示范中的细节能否在现实变化中被保留下来。机器人上下文学习的关键，最终不是“看过多少示范”，而是能否把示范转化为可靠、可迁移且可持续利用的行动能力。

来源：Hugging Face Daily Papers