让机器人在“世界”里学习：RoboScript探索无需更新权重的操作技能迁移

导语

机器人要学会“把物体放进盒子”或“按步骤完成装配”，通常需要大量示范数据和专门训练。训练型动作策略会把学到的技能固化到网络权重中，优点是执行速度快，但技能往往与训练时的视觉环境、物体摆放和机器人形态绑定。换一种场景，原本有效的动作就可能失灵。

上下文学习提供了另一条路径：模型不更新参数，而是根据提示或示范临时完成任务。不过，单独一段来自其他场景的示范并不能告诉机器人当前世界发生了什么。RoboScript背后的研究因此提出了“世界内上下文学习”（World In-Context Learning，WICL）：让模型不仅阅读示范，还在一个可交互的世界中进行任务排练，把反馈保存在上下文中。

核心方法

• 从示范中提取任务语义：研究者认为，模型在上下文中学习到的重点并非某个场景的具体外观，而是任务步骤、物体角色以及动作之间的关系。
• 在模拟环境中反复排练：冻结的模型从一条示范开始，在模拟器等“世界”中尝试执行任务，通过观察结果发现错误并调整后续行动。
• 将结果写入任务记忆：排练得到的经验被整理为Task Memory。它保存的是完成特定任务所需的上下文知识，而非通过梯度下降修改模型参数。
• 隔离训练与部署数据：RoboScript强调部署时只能使用真实机器人能够获得的输入，避免利用新场景中不可用的额外信息。
• 支持反思与跨形态适配：系统可以通过反思改进任务记忆，并尝试把在一种机器人或环境中形成的记忆迁移到新的视觉分布和实体平台。

实验结果与意义

在RoboTwin 2.0的全部50项任务上，RoboScript在干净和随机化设置中取得83.4%的平均成功率。每项任务只提供一次示范，且不进行梯度更新；据论文摘要，该成绩比最强的训练型动作策略高出20多个百分点。研究还报告，方法能够适应不同视觉分布，随着反思得到改进，并受益于更强的基础模型，最终还通过跨实体记忆适配迁移到实体双臂机器人。

这一思路的价值不只是“少训练一次”。它把机器人学习拆成了基础模型、世界模拟和任务记忆三个相对独立的模块：模型负责理解语义，模拟器提供可试错的反馈，记忆则承载任务级经验。相比直接把所有技能压缩进权重，这种结构更便于按任务创建、冻结和复用记忆，也为机器人在面对新场景时进行低成本适应提供了可能。

当然，现有结果主要来自基准测试和论文摘要披露的信息，真实部署的鲁棒性、模拟与现实之间的差距，以及长序列任务中的记忆规模问题，仍需要进一步验证。WICL真正重要的启示在于：如果模型能够在一个可交互的世界中获得反馈，那么“学习”未必一定意味着改动参数，也可以发生在上下文和任务记忆里。

来源：Hugging Face Daily Papers