Open-HumanScale：用5万小时第一视角视频训练具身模型

具身智能长期面临一个现实问题：机器人可直接采集的操作数据规模有限，而互联网上的人类视频虽然数量庞大，却未必能直接转化为可执行的机器人策略。Open-HumanScale 试图解决的，正是从“人类经验”到“机器人动作”之间的数据和训练问题。

这项工作由北京大学 DAGroup 团队提出，核心是一个开放的扩展方案，以及配套的 Open-HumanScale-50K 第一视角视频语料库。数据规模达到5万小时，并针对手部运动和自然语言进行了密集标注。与简单堆叠视频不同，研究团队强调数据筛选、标注和训练流程对最终泛化能力的影响，并通过闭环仿真评测考察预训练数据规模与机器人任务表现之间的关系。

核心要点

• 探索人类视频的规模效应。 研究观察到，第一视角预训练数据增加后，机器人在未见场景和随机化环境中的泛化表现随之改善，并呈现经验性的对数—线性扩展趋势。数据多样性越高，规模扩展带来的收益越明显。
• HumanWAM-Vanilla 专注于人类经验。 该世界—动作模型仅使用5万小时人类第一视角视频进行预训练，再通过机器人数据进行后训练。在 RoboTwin 2.0 中，其 Clean2Clean 成功率为92.08%，Clean2Random 为68.88%；在 RoboDojo 上，平均成功率为14.17%，平均进度分数为19.00。
• HumanWAM-Goal 融合人机经验。 这一版本引入机器人数据，并采用视觉目标条件，使模型能够根据目标图像调整行为。后训练后，它在 RoboTwin 2.0 的 Clean2Clean 和 Clean2Random 设置下分别达到92.70%和84.60%，平均成绩为88.65%。
• 尝试零样本和上下文适应。 素材显示，HumanWAM-Goal 能在仿真和实体机器人场景中根据未见视觉目标改变操作行为，而无需针对目标任务更新模型参数。

这项工作的意义不只是发布一个更大的视频数据集。它把具身模型的规模化研究拆解为可复现的环节：数据如何筛选和标注、单独使用人类经验能带来什么收益、何时需要加入机器人轨迹，以及视觉目标条件如何帮助跨任务迁移。对于机器人学习而言，人类视频不一定提供可直接复制的动作，但能够提供物体交互、手部运动和任务结构等操作先验。如何将这些先验稳定地转化为机器人控制能力，可能比单纯追求视频小时数更关键。

目前，团队已开放语料库、数据处理与预训练流程、HumanWAM 检查点、推理代码及仿真评测套件。由于项目文档仍在持续更新，实际使用者仍需结合开放资源进一步核对数据构成、训练细节和评测设置。总体来看，Open-HumanScale 为“人类视频能否规模化服务机器人学习”提供了一个较完整的公开实验框架。

来源：Hugging Face Daily Papers