UNITAS：把机器人动作与世界变化统一到三维空间

导语

机器人要完成“拿起杯子并放到指定位置”这类任务，不能只生成一段看起来合理的动作。它还必须判断夹爪移动后，杯子会在哪里、桌面上的其他物体是否会被碰撞，以及下一步动作是否仍然可执行。世界动作模型（World Action Model，WAM）试图同时回答这两个问题：机器人应该怎么动，以及这个动作会怎样改变环境。

UNITAS 的切入点是，现有不少 WAM 建立在视频生成模型之上，用图像或视觉潜变量描述世界演化。但图像是三维场景经过视角投影后的结果，像素之间的距离并不等于真实空间中的物理距离。对需要精确接触、抓取和放置的机器人来说，这种表示存在天然限制。

核心要点

• 以三维坐标作为共同接口。 UNITAS 在每次交互中，把观测、动作和场景动力学统一到同一个具有公制尺度的三维坐标框架中，减少从二维视觉表征到实际运动规划之间的转换负担。
• 用轨迹表达动作。 模型将人手和机器人夹爪表示为三维点轨迹，即 action flow。这样的表示不依赖某一种特定机器人形态，也为人类示范迁移到机器人提供了共同接口。
• 显式建模环境变化。 scene flow 用场景点的位移描述动作造成的结果，并以动作轨迹作为条件。因此，模型既可以直接生成可执行动作，也可以进行动作条件下的场景预测。
• 位置与时间同时进入模型。 世界对齐的三维位置编码为视觉 token 注入空间信息，即使没有深度输入，也能将视觉内容锚定到交互空间。物理时间轨迹标记器则把一条点轨迹编码为一个 token，并锚定在该轨迹当前的三维位置上。
• 结果覆盖预测与控制。 论文介绍的模型规模为 17 亿参数。在 RoboTwin 的动作条件场景预测中，UNITAS 相比 PointWorld 的位移误差最高降低 49%；在 LIBERO 上报告了 99.8% 的操作成功率，并在其他操作评测中取得平均 85% 的结果。素材未提供后一个结果对应的完整基准名称，因此这里不作进一步推断。

意义与影响

UNITAS 的价值不只是把深度信息加入视觉模型，而是重新定义了动作模型的接口：动作不再只是二维视频中的变化，也不只是关节控制信号，而是处在真实三维空间中的点轨迹；环境预测也不再停留在下一帧图像，而是转向可度量的场景点位移。

这种设计可能有助于缓解机器人学习中的两个长期问题。第一，不同机器人形态的动作空间往往难以直接对齐，三维点轨迹为跨形态共享表示提供了基础。第二，人类视频和机器人数据之间存在明显差异，统一的人手与夹爪表示有望降低示范迁移的表示鸿沟。

不过，论文摘要中的结果主要来自给定基准，尚不足以证明模型已经解决开放环境中的泛化、遮挡、传感器误差或长时规划问题。UNITAS 更重要的贡献，是展示了一条从二维视频世界模型转向三维、度量化具身模型的路线：让机器人不仅“看到”动作，还能在空间中理解动作带来的后果。

来源：Hugging Face Daily Papers