EgoX:让不同身体的机器人共享操控经验
导语
机器人操控模型往往依赖特定平台的数据:机械臂的关节配置、摄像头视角、末端执行器和控制指令各不相同。人类示范、不同型号的真实机器人以及模拟人形智能体虽然包含互补经验,却很难直接混合训练。EgoX试图解决的,正是这些“身体不同、接口不同”的数据如何互相借鉴的问题。
核心方法:共享主干,分离接口
EgoX是一套面向第一视角数据的跨具身学习框架。它首先按照语义对应关系整理不同来源的观察和动作模态,再使用MXT+(带具身想象的模块化跨具身Transformer)进行预训练,最后在目标具身的数据上微调。
MXT+的设计重点不是强行把所有机器人数据转换成完全相同的输入,而是保留各具身的接口差异:
- 每种观察模态配置独立的分词器,例如视觉或本体感知信息由相应模块处理;
- 每种动作模态配置专用专家,以适配不同机器人的动作表达和控制方式;
- 不同具身之间共享Transformer主干,让模型在更高层学习可迁移的操控规律。
这种结构将“输入输出接口适配”和“跨平台知识共享”分开处理,有助于避免形态差异直接干扰共同表示的学习。
具身想象:让模型理解身体如何运动
EgoX还引入了一个仅在训练阶段使用的辅助目标。模型需要根据当前信息,预测未来视觉状态和本体感知状态的潜在表示。论文将这一机制称为“具身想象”(Embodiment Dreaming)。
它并不是要求模型生成完整图像或精确还原未来动作,而是促使共享主干关注不同具身各自的动力学特征:某个机械臂如何移动关节、某种传感器如何反映状态变化,以及动作如何影响后续观测。消融实验表明,这一目标能让不同具身的潜在表示几何结构更加相似,同时保留各自的动态信息。
实验结果
评测覆盖5项任务、6种机器人具身和13个任务—具身组合,其中包括5种真实机器人和1个模拟人形智能体。与从头训练相比,跨具身预训练将MXT+的平均归一化任务进展从0.63提升至0.80。在分布外条件下,平均任务进展由0.53提升至0.77,增益更加明显。
消融结果还支持三点:更广泛的预训练数据混合能够带来帮助;模块化接口对于处理异构数据是必要的;具身想象能够进一步改善跨具身表示的一致性。不过,现有材料并未提供每个任务、机器人或数据源的单独成绩,因此这些结果更适合被理解为整体趋势,而非对所有平台都成立的保证。
意义与限制
EgoX的价值在于提供了一种较清晰的扩展路径:机器人基础模型不必只围绕单一硬件收集数据,而可以通过模块化输入输出吸收更多平台的经验。对数据规模有限的新机器人而言,来自其他具身的预训练或许能够降低从零学习的成本,尤其是在面对训练分布之外的场景时。
与此同时,跨具身迁移仍取决于任务语义、观测模态和动作空间之间是否存在足够对应关系。模块化设计也意味着需要为不同平台维护相应的分词器和动作专家。未来这类方法能否扩展到更多形态、更复杂任务以及更大规模的真实世界数据,还需要进一步验证。
评论
正在确认登录状态……
正在加载评论……