让世界模型学会“追点”：VPM用点轨迹连接多视角视频与3D运动

2026年10月21日阅读约 3 分钟

导语

对于世界模型而言，预测一段“看起来合理”的未来视频并不等于理解了真实世界。尤其在多摄像机场景中，同一个物体会以不同外观出现在不同画面里，模型如果只学习像素变化，可能生成各自合理却彼此矛盾的未来。要让多视角视频描述同一个持续演化的三维场景，模型需要一种跨视角共享的运动线索。

研究团队提出Video-Point Model（VPM），在预训练世界模型的基础上加入面向摄像机的多视角处理模块，并增加轨迹预测头。模型接收多视角视频历史和语言指令，联合完成两项任务：预测未来视频，以及预测场景中持久点在时间维度上的三维运动轨迹。

这里的“点”并非某个固定视角里的像素，而是同一个物理场景点在不同摄像机画面中的对应表示。每条轨迹都试图跨越所有视角追踪该点的运动。这样一来，视频中的颜色、纹理和遮挡变化就不再是孤立的视觉信号，而需要与共享的三维运动描述保持一致。

这一设计的关键在于联合监督。视频生成负责刻画未来的外观与场景变化，点轨迹预测则为这些变化提供几何约束。两者结合后，模型不仅要回答“未来画面像什么”，还要回答“场景中的实体将如何移动”。

为训练和评估VPM，研究团队构建了VPM-Data模拟数据集，将同步的多视角视频与持久点轨迹配对；同时推出VP-WorldBench，覆盖模拟环境和真实环境，用于评估多视角世界预测以及4D运动建模能力。

论文摘要显示，在VP-WorldBench和已有4D生成基准上，相比仅进行视频训练的模型，加入点监督后，VPM在视频保真度和三维运动准确性方面都有提升。需要注意的是，素材没有提供具体指标，因此这些结论应理解为论文报告的总体趋势，而非可量化的性能差距。

VPM还被扩展用于机器人控制。研究团队把机器人动作编码为生成器中的一种token模态，使动作token与未来视频共享经过点轨迹监督的骨干网络，并与未来视频共同去噪。其目标是让机器人策略建立在同一套具备三维意识的场景表示上，而不是把视觉预测和动作决策割裂开来。

在模拟和真实机器人实验中，论文报告称，加入点监督的动作模型带来了更高的操作成功率。但这一结果仍应结合完整论文中的实验设置、任务范围和对比方法理解，不能简单外推为所有机器人任务都能获得同等收益。

VPM的价值在于提供了一条清晰的建模思路：将点轨迹作为连接多视角观察、未来视频和机器人动作的中间表示。相比只追求画面逼真度，这种方法更强调世界模型对实体持续性、空间关系和运动规律的刻画，也为4D生成与具身智能之间建立了更直接的接口。

不过，点轨迹监督依赖可靠的跨视角对应关系，训练数据和标注构建也可能成为扩展瓶颈。真实世界中的遮挡、反光、非刚体形变以及摄像机运动，都会增加轨迹预测难度。后续研究仍需检验这类表示在更开放、更长时序和更复杂机器人任务中的泛化能力。