从视频理解到世界建模：一篇综述重新梳理视频模型的四种能力

导语

视频并不是世界本身，而是世界留下的一段有限记录。镜头之外可能仍有物体、行动和状态变化；即使某个物体暂时离开画面，它也没有从现实中消失。基于这一点，综述《Reading, Writing, Sharing, and Interacting with the World through Video》尝试用“世界建模”作为共同视角，重新整理视频理解、视频生成、统一视觉模型和视频世界模型的发展脉络。

四种理解视频模型的操作

综述将相关研究归纳为四类互补能力：

• 阅读（Reading）：从视频观测中推断场景、物体、动作及其潜在状态，也就是从视频反推世界。
• 书写（Writing）：根据文本、条件或已学习的世界状态生成视频，将潜在世界变化投射为可见序列。
• 共享（Sharing）：让同一套建模机制兼顾理解与生成，使模型不再被简单划分为“看视频”或“造视频”。
• 交互（Interacting）：在动作和新观测不断到来的情况下，预测并更新世界状态，关注模型能否参与一个持续演化的环境。

这一框架的价值在于，它把看似不同的任务放回同一个问题：模型究竟学到了视频表面的统计规律，还是学到了能够持续更新的世界表示？

连贯画面不等于一致世界

当前视频生成通常重视运动平滑、画面逼真和短期时间一致性。但一段视频即使前后衔接自然，也可能在物体身份、空间关系、遮挡后的状态或因果结果上出现矛盾。综述因此区分了两种一致性：前者属于观测序列本身，后者属于视频所暗示的潜在世界状态。

文章还提出一条由浅入深的证据链：输出首先要“看起来合理”，其次要忠实于输入条件，再进一步保持世界状态一致，最终还应提升下游决策的有效性。按照这一标准，能生成 plausible 视频并不足以证明模型已经具备世界建模能力。

研究重点正在转移

综述覆盖了六百余项相关工作，并从任务、表示、架构、数据集、控制、记忆、延迟、物理 grounding 和评测等方面进行梳理。其观察是，研究重点正在从片段级识别和感知保真度，转向持久状态、可控演化、物理与因果有效性，以及面向交互和决策的评价。

作者进一步将视频世界模型放在“预测什么”与“如何转移状态”两个维度上考察：模型可以预测像素或其他观测，也可以在潜在状态空间中预测；状态转移则可能是被动的、受动作条件控制的，或支持真正的交互。这个分类说明，单一模型名称并不能代表完整的世界模型能力版图。

意义与未解问题

这套视角提醒行业，扩大视频规模只是起点。要让模型真正理解动态世界，还需要解决长时程一致性、物理和因果 grounding、无标签视频中的控制学习、跨场景与跨具身泛化，以及随机世界和罕见事件等问题。同时，评测也必须从单纯比较生成画质，转向检验模型能否在干预后做出可靠预测，并帮助完成实际任务。

对视频模型研究而言，下一阶段的关键不只是“生成得更像”，而是让内部状态在时间中保持、在行动下更新，并能为决策提供可验证的依据。

来源：Hugging Face Daily Papers