WOVEN：用视觉状态变化补上多模态模型的世界建模短板

导语

多模态大模型已经能够识别图像、描述视频，却常常难以回答更接近真实世界的问题：物体移动后会在哪里，某个动作会改变哪些状态，遮挡之后的场景是否仍然符合物理规律，以及一段事件发生的先后关系是什么。现有研究通常将空间、具身、物理和时间推理分开处理，导致数据、基准和训练方法彼此割裂。

论文 WOVEN 提出，以上问题可能共享一个更基础的能力缺口：视觉转移推理，即根据场景当前状态和发生的动作，推断之后的视觉状态。研究团队将它视为一种可复用的世界建模原语，并尝试验证它能否被不同监督来源学习，再迁移到不同任务中。

核心方法与发现

• 结构化训练数据。 WOVEN 数据集包含 36,076 个样本，覆盖 20 类场景、5 类动作和 8 类推理类型。样本来自视频预训练生成模型产生的多样化、相对真实的场景演化过程，重点不只是“画面里有什么”，而是“动作之后发生了什么”。
• 系统性评测模型缺口。 研究评估了 38 个前沿多模态大模型，包括 GPT-5.4 和 Qwen3-VL-235B-A22B。结果显示，即使是表现最强的模型，在视觉转移推理上仍明显落后于人类；相关失败跨模型家族反复出现，单纯扩大规模也没有消除问题。
• 跨任务迁移。 在多个规模的多模态模型上训练后，WOVEN 学到的能力能够迁移到外部基准。每个训练子集约含 2,000 个样本，组合使用后可改善 26 个外部基准中的 22 个，最高提升 27.3 个百分点；在部分任务中，WOVEN 数据还能替代原任务训练数据的 30%—50%，并取得相近准确率。
• 训练策略提供线索。 论文还报告，模型习得物理规律的顺序与婴儿的发展顺序相似，这一顺序可以作为课程学习安排。几何扰动带来的性能损害显著高于外观扰动，说明模型更依赖空间结构而非表面纹理；此外，数小时的生成视频训练在同一骨干模型上超过了大规模真实视频中期训练的效果。

意义与影响

WOVEN 的价值不只是新增一个数据集或基准，而是尝试重新组织多模态能力的训练方式。若视觉转移推理确实是空间、时间、具身和物理常识之间的共同底层能力，那么研究者可以先训练模型理解状态变化，再将这一能力复用于机器人交互、视频问答、行动规划和场景预测等任务，而不必为每个领域完全从头构建监督。

不过，现有材料主要展示了论文作者在其基准和外部任务上的实验结果，不能据此断言视觉转移推理已经解决了多模态模型的世界建模问题。WOVEN 数据还依赖生成视频，生成过程与真实环境之间的差异，以及不同任务迁移收益的稳定性，仍值得后续研究检验。更稳妥的结论是：这项工作为“用状态转移统一训练多种视觉推理能力”提供了一个可操作、可比较的研究框架。

来源：Hugging Face Daily Papers