AffordanceWAM：让人类视频成为机器人操控的共享接口

导语

机器人学习长期面临一个数据矛盾：真正带有机器人动作标签的轨迹能够直接训练控制器，但采集成本高、场景和行为种类有限；互联网或第一视角人类视频则包含大量自然交互，却没有机器人动作，而且人与机器人的身体结构和外观并不一致。AffordanceWAM的核心思路，是不强行把人类动作转换成机器人动作，而是寻找两类视频都能表达的中间接口——可供性（affordance）。

核心方法

AffordanceWAM是一种可生成的世界—动作模型，重点预测“接下来场景会怎样变化”以及“哪里适合交互”。它在未来世界表示中引入两类面向物体的时空可供性：

• 标量可供性：描述与任务相关对象的整体交互潜力；
• 可供性热图：进一步定位可抓取、推动或操作等交互区域。

这些信息与未来RGB观测共同构成任务相关的世界预测，并为动作生成提供更明确的视觉依据。模型建立在预训练视频扩散Transformer之上，将世界专家和动作专家分别参数化，再通过掩码联合自注意力交换信息。在统一的流匹配目标下，模型联合预测未来RGB帧、标量可供性、可供性热图以及连续机器人动作。

训练时，人类视频只需监督未来世界的三类输出：视觉变化、标量可供性和热图；机器人轨迹则在此基础上增加动作监督。这样，跨域迁移的共同目标不再是具体的手臂轨迹，而是“哪个物体重要、哪里可以操作、场景将如何演化”。论文特别强调，这一流程不需要人类动作标签，也不需要将人类动作重定向到机器人 embodiment 上。

实验与意义

作者在RoboCasa、CALVIN ABC→D和真实世界机器人操控任务上进行了评估，并报告相较仅使用RGB预测或仅使用机器人数据的基线，AffordanceWAM取得了持续改进。在机器人监督量固定的情况下，增加带有可供性标注的人类视频，RoboCasa性能也呈现逐步提升趋势。

这项工作的价值不只是把更多视频加入训练集，而是重新定义了人类视频在机器人学习中的作用：它们可以补充对物体功能、接触区域和场景演化的理解，而不必承担直接产生机器人控制信号的任务。对于通用操控而言，可供性因此成为连接视觉学习、世界模型与动作生成的中间层。不过，方法的效果仍依赖可供性表示的质量，以及模型能否把视觉交互规律稳定迁移到不同机器人形态和真实环境中。

来源：Hugging Face Daily Papers