WorldFlow：让世界模型同时预测视频与三维运动

导语

机器人要在现实环境中行动，不能只判断“画面接下来会变成什么”，还需要知道物体会向哪里移动、移动多远，以及这种运动是否符合空间关系。现有视频世界模型通常把三维动力学隐含在视觉表示中，动作条件模型又往往依赖特定机器人的形态和控制接口。WorldFlow 的核心思路，是让模型同时预测未来视频和显式的三维物体轨迹。

把视觉变化与空间运动放进同一个模型

WorldFlow 面向的是查询式三维轨迹预测：给定视频中的目标或空间位置，模型预测其未来运动轨迹，而不是只生成一段看起来合理的视频。研究团队将三维运动表示为连续位移 token，并让这些 token 与视频网格对齐。这样，图像中的局部变化和对应的空间位移可以在统一表示中交互。

模型采用 Mixture-of-Transformers（MoT）骨干网络，对视频和三维运动两种模态进行联合去噪，并使用 rectified-flow 目标完成生成式训练。其关键价值不只是增加一个三维输出头，而是把视觉预训练中包含的物体、接触和运动先验，与明确的几何监督连接起来。换言之，模型既学习“画面如何变化”，也学习“物体在三维空间中如何变化”。

规模化训练与评测

为检验这一架构能否跨场景泛化，研究使用了涵盖仿真和真实世界的异构数据，训练规模达到 144 万个物体级样本。与此同时，团队构建了 WorldFlowBench，包含来自 11 个数据源的 1678 个评测样本，覆盖仿真交互、真实世界交互以及空间推理任务。

根据论文摘要，WorldFlow 在三个评测集合上都取得了参与比较的学习方法中最低的平均位移误差（ADE）和终点位移误差（FDE）。在具有挑战性的 SpatialCog 集合上，其 ADE 为 0.060 米，摘要称这一结果较相关对比方法降低了 54.2%。这些结果表明，联合视频与几何训练可能比只依赖光流或隐式视觉表征更适合学习可迁移的物体运动规律。

意义与局限

WorldFlow 的重要意义在于，它提供了一条不依赖具体机器人配置的三维预测路径。显式轨迹可以被用于空间推理、交互规划和未来的世界动作模型，也有助于把视频模型从“生成逼真画面”推进到“预测可验证的物理状态”。

不过，现有材料主要披露了架构、数据规模和基准结果，尚不足以判断模型在长时域预测、遮挡、复杂接触或真实机器人闭环控制中的表现。三维轨迹预测也不等同于可执行动作规划，后续仍需要验证预测结果能否稳定服务于实际决策。总体而言，WorldFlow 展示了世界模型从单纯视频预测走向视觉—几何联合建模的清晰方向。

来源：Hugging Face Daily Papers