WATCH：用跨视频学习让世界-动作模型更易迁移

导语

机器人要在新环境中完成任务，难点并不只是看懂画面，还要理解“动作如何改变世界”。现有世界-动作模型通常通过视频预训练获得视觉和物理先验，但如果训练目标只是预测同一段视频的下一帧，模型可能依赖场景外观、摄像机视角或物体布局等线索，而不必掌握能够迁移到新场景和新机器人上的交互规律。

来自论文《Learning Transferable World-Action Models from Task-Paired Human Videos》的方法 WATCH，试图从训练目标本身入手，强化这种迁移能力。

核心方法：从“同一视频续写”转向“跨视频预测”

WATCH使用来自不同环境的人类任务示范，并将执行相同或相关任务的示范配对。训练时，模型接收第一段示范的视频与动作，同时观察另一段示范的当前画面；随后，它需要联合预测第二段示范接下来的动作以及未来画面。

这种设计带来两个变化：

• 模型不能只依赖第一段视频和目标视频之间的外观连续性，因为两段示范来自不同场景或不同演示者。
• 为了预测另一段示范，模型需要提取任务相关的状态变化、动作意图和环境交互，而不是机械地复现某个视频中的像素运动。
• 训练数据不要求人类和机器人执行严格匹配的示范，使用更容易规模化获得的人-人任务配对视频即可。

换言之，WATCH把“视频预测”从场景内的时间延续，改造成了任务条件下的跨场景推理。

实验观察

在机器人后训练之前，研究者观察到，WATCH在跨具身运动对齐方面表现更好，并能在未见过的机器人上改善动作预测和视频预测。其内部表示也更接近使用机器人配对数据训练得到的表示，说明人类视频可能包含可供机器人学习的任务结构，而不只是外观信息。

完成机器人后训练后，WATCH进一步提升了MimicDroid的情境内任务成功率：结合Cosmos Policy时，成功率由40.9%升至68.3%；结合Cosmos3时，则由59.8%升至77.7%。提升在未见过的关卡上尤其明显。研究还报告称，在不依赖上下文的后训练设置以及不同机器人具身之间，收益仍然存在。与同视频预训练和联合训练基线相比，WATCH也取得了更好的结果。

意义与局限

这项工作的核心意义，是把世界-动作模型的预训练重点从“预测看起来会发生什么”，推进到“理解任务中的动作与状态如何跨场景对应”。如果这一思路成立，机器人学习就不必为每种机器人、摄像头和环境准备成对的示范数据，而可以先利用大量人类视频学习更通用的交互表示，再通过较少的机器人数据完成适配。

不过，素材主要呈现了方法和实验结论，尚未提供数据规模、任务清单、模型细节及各项评测的完整设置。因此，WATCH的优势在不同任务类型和真实部署条件下能否稳定复现，还需要结合论文全文和后续研究进一步判断。

来源：Hugging Face Daily Papers