H2RB：用人类示范为预训练机器人VLA补上跨本体迁移桥梁

导语

让机器人学会新技能，最昂贵的环节往往不是训练大模型，而是收集目标机器人本体的示范数据。人类可以快速演示“拿起物体并放到另一处”等操作，但人的手臂、手部自由度、视角和控制方式都与机器人不同。如何把这些更容易获得的人类轨迹转化为机器人可用的监督信号，成为视觉-语言-动作模型（VLA）落地时的关键问题。

论文提出的 H2RB（Human-To-Robot Bridge）尝试在不使用成对人类—机器人轨迹、也不依赖目标机器人示范的条件下，适配预训练VLA。它的核心不是把人的动作直接翻译成机器人的电机指令，而是在表征空间和动作空间分别搭建桥梁。

核心方法

• 面向几何的观测对齐：H2RB利用手部几何信息，将人类和机器人看到的操作状态映射到更兼容的表示中。这样，模型关注的重点从“哪种身体正在行动”转向物体、手部与目标之间的空间关系。
• 解耦动作解码：方法引入解耦解码器的动作分词器，共享跨域动作潜变量，但不要求人类和机器人经过同一个动作映射。人类数据可以提供行为层面的监督，机器人侧则保留自身执行动作的表达方式。
• 人机联合训练：H2RB使用未配对的人类与机器人示范共同训练，在利用人类行为信息的同时，尽量保留预训练VLA已有的视觉、语义和控制先验。

实验结果说明了什么

在真实世界任务中，H2RB将物体转移表现从8.0提升至51.8；在基线方法无法有效迁移人类示范技能的设置下，它的技能转移得分达到62.7。即使改变物体放置位置，方法仍将分布外转移表现从6.0提高到45.3。上述结果表明，跨本体迁移的瓶颈不只在数据数量，也在于是否正确区分“可共享的行为意图”和“必须保留的执行差异”。

意义与局限

H2RB提供了一条更具扩展性的机器人数据路线：人类视频或操作示范可以承担行为监督角色，而少量机器人数据或预训练模型负责约束可执行性。对于需要快速适配新任务的机器人系统，这种思路有望降低逐一收集本体数据的成本。

不过，现有材料主要展示了方法设计与总体实验结果，尚未给出完整的任务清单、数据规模、机器人配置及消融细节。因此，H2RB的适用范围、对人类示范质量的敏感性，以及在更多机器人形态上的稳定性，仍需结合论文全文进一步判断。

来源：Hugging Face Daily Papers