HuGe：用第一视角经验训练更通用的人形机器人VLA

导语

让人形机器人真正完成“看懂指令—移动身体—操作物体”的连续任务，难点不只是视觉识别或语言理解，还包括双腿、躯干、双臂和手部之间的协调控制。更麻烦的是，高质量人形机器人示范需要在真实环境中采集，成本和覆盖范围都受到限制。来自人类的第一视角视频与操作数据数量更丰富，却存在视角、身体结构和传感器信息不匹配的问题。

HuGe（Humanoid Generalist）针对这一矛盾，提出一套面向人形机器人全身控制的视觉-语言-动作模型方案。研究使用超过2000小时的人类第一视角和机器人数据进行预训练，并在此基础上构建从通用经验到具体机器人策略的迁移流程。

核心要点

• 以潜在运动token连接模型与控制器：HuGe并不直接输出完整的关节控制，而是预测供预训练全身控制器使用的潜在运动token，同时生成手部控制信号。这样可以把高层视觉语言决策与底层身体协调解耦。
• 采用三阶段训练：流程依次包括第一视角预训练、人形机器人适配和下游任务微调，使模型逐步学习通用行为经验、机器人身体约束以及具体任务要求。
• 补足缺失的本体感觉：人类第一视角数据通常没有机器人关节角度、身体状态等本体感觉信息。HuGe通过在仿真中回放动作，构造伪本体感觉状态，以降低跨身体形态迁移的难度。
• 处理视觉外观差异：在下游微调阶段，研究通过重新渲染改变第一视角画面中的手臂外观，使输入视觉特征更接近目标人形机器人的形态。
• 兼容多种VLA架构：该方法实现了基于三种代表性VLA架构的策略，并使用Qwen3-VL-2B-Instruct版本进行实验，显示方法并不依赖单一模型设计。

意义与影响

HuGe的价值在于把“人类数据规模大”和“机器人数据具备身体对应关系”结合起来。第一视角人类经验可以提供更广泛的任务与动作先验，而机器人适配阶段则负责将这些经验约束到具体硬件上。这种思路有望减少每种机器人、每项任务都从零采集示范的需求。

根据素材，HuGe在HumanoidArena仿真基准上取得当前最佳表现；在Unitree G1真实机器人上，加入经过视觉适配的人类第一视角示范后，pick-and-drop任务成功率相较仅使用机器人示范有所提升。不过，现有材料没有给出具体指标、对比方法和失败案例，因此这些结果仍应理解为研究团队报告的初步验证，而非对所有场景的普遍保证。

总体来看，HuGe展示了人形机器人模型训练的一条重要路径：不再把人类数据视为只能提供视觉知识的素材，而是尝试将其中的动作经验转化为可由机器人控制器执行的中间表示。未来，跨身体形态的状态建模、手部精细操作和更长时序任务，仍将决定这类方法能否从基准测试走向复杂真实环境。

来源：Hugging Face Daily Papers