RoboTryOn：把人类视频“试穿”成机器人示范数据

2026年11月4日阅读约 3 分钟

机器人基础模型正在提升控制能力，但一旦遇到新任务，仍通常需要人工遥操作收集示范。这种方式成本高、扩展慢，尤其难以覆盖双臂协同和高自由度操作。RoboTryOn试图把可规模化获取的人类视频，转化为机器人可以使用的训练数据。

从“换衣服”到“换执行者”

这项工作的核心比喻来自虚拟试衣：虚拟试衣保留人物和场景，只替换服装；RoboTryOn则保留视频中的任务、物体、背景与动作意图，将人类执行者替换成由参考图像指定的目标机器人。输入可以是一段第一视角的人类操作视频，输出则是看起来由目标机器人完成的演示视频，以及用于策略学习的动作信息。

与直接把渲染机器人叠加到原视频中不同，RoboTryOn关注生成结果的整体视觉一致性。系统首先选择视频中的关键帧，并以自回归方式进行翻译，再用这些关键帧引导后续视频合成。同时，视频生成过程受到人类手部骨架运动的约束，使机器人更可能沿着原始操作轨迹完成动作。

仅有视觉上逼真的机器人视频，并不能直接训练控制策略。为此，研究者加入逆动力学模型，从合成视频中推断动作标签。该模型还利用深度特征，以补充二维图像中容易缺失的空间关系和距离信息。由此，RoboTryOn的产物不再只是展示效果，而是能够进入策略学习流程的合成示范数据。

论文在多个类人机器人平台上进行实验，重点考察了包括双臂操作在内的新任务。根据论文报告，在没有针对这些任务进行真实机器人示范的情况下，使用合成数据训练的策略平均成功率由2%提高到60%。其表现还接近仅使用遥操作示范训练的策略，但数据采集成本约为后者的三分之一。

RoboTryOn的价值在于连接了“人类视频规模大”和“机器人数据可执行”这两个长期分离的资源。它不要求每种机器人、每项任务都重新进行遥操作采集，为构建跨机器人、跨任务的数据集提供了新的思路。尤其对于双臂和高自由度平台，视频层面的动作迁移可能比单纯的姿态映射更灵活。

不过，论文给出的结果仍应理解为特定实验设置下的验证。合成视频是否准确反映真实机器人的动力学、接触状态和执行误差，仍是从视觉迁移走向稳定部署时必须面对的问题。后续工作的关键，可能在于进一步校准动作标签、处理遮挡与物体接触，并验证方法在更广泛机器人形态和真实环境中的泛化能力。