Open-AoE：把日常人类操作变成可训练的具身数据

Open-AoE 的价值，不在于又发布了一个视频数据集，而在于它把“采集—处理—复用”这条链路补齐了。对于具身智能来说，第一人称视频是很有潜力的监督来源，但现实里往往卡在三个问题：数据难规模化采集、标注颗粒度不够、不同模型之间难以直接复用。Open-AoE 正是围绕这些痛点搭建的开源基础设施。

核心要点

• 数据来源更低门槛：首批释放的数据约 2000 小时，由 500+ 贡献者使用 400+ 智能手机在自然环境中采集，强调社区参与和持续积累。
• 标注更适合具身任务：数据不仅有文本说明，还包含基于 MANO 的手部姿态、相机轨迹，以及时间定位到具体片段的原子动作。
• 处理链路更完整：项目提供从原始录像到结构化样本的流水线，包括动作切分、语义标注、手部重建和相机轨迹重建。
• 下游工具更实用：除了数据集本身，还提供可视化、跨具身重定向、面向不同模型的数据转换，以及针对 VLA policy、WAMs 和 World Models 的训练方案。

从研究角度看，Open-AoE 试图把“人怎么做事”更系统地转化成“机器人怎么学事”。这类数据的优势在于贴近真实生活场景，覆盖的操作类型和环境变化也更丰富。相比单一实验室场景中的标准化采集，社区化的第一人称数据更有机会提升模型对复杂任务的泛化能力。

更重要的是，它把门槛降下来了。过去研究者即使拿到原始视频，也常常需要自己做切分、重建、格式转换和训练适配，成本很高。Open-AoE 把这些环节模块化，意味着更多团队可以直接在同一套基础设施上做算法比较、数据扩展和跨机器人迁移。

意义与影响

Open-AoE 代表了一种具身智能数据建设的新思路：不只是收集更多数据，而是把数据做成“可持续生产、可重复加工、可直接训练”的公共资源。对于人到机器人迁移、世界模型学习以及具身策略训练来说，这种开放式工具链比单点数据集更具长期价值。

如果说具身学习下一阶段的竞争不只是模型结构，也包括数据基础设施，那么 Open-AoE 的意义就在于它提供了一个更容易参与、也更容易复用的起点。

来源： Hugging Face Daily Papers