世界动作模型为何能泛化？关键可能不在“看见未来”

2026年9月30日阅读约 3 分钟

导语

世界动作模型（World Action Models，WAMs）试图同时回答两个问题：接下来会发生什么，以及机器人应该采取什么动作。与只学习动作映射的策略模型不同，WAM在训练时让模型预测未来视觉状态，希望借助对环境演化的理解提升鲁棒性与迁移能力。

但未来预测也带来明显的推理成本。显式WAM需要在每个动作片段生成并逐步去噪未来视频；另一类潜变量WAM则在推理时直接放弃未来生成，以换取速度。后者在训练分布内的任务上可以取得相近表现，于是一个关键问题浮现：WAM真正的泛化收益，是否必须依赖推理时的完整视频生成？

论文在匹配骨干网络、训练数据和计算预算的条件下，对不同方案进行了对照，并从三个维度考察泛化能力：

这意味着，潜变量WAM在分布内任务上的表现并不能代表它继承了WAM的核心优势。当动作专家完全不再接收未来表征时，模型在上述三类泛化测试中都出现了持续退化。

更值得注意的是，研究将性能差距定位到未来视频去噪过程的最初阶段。结果暗示，收益主要来自“准备未来”而非“把未来完整生成出来”：动作专家需要的是一个经过未来方向约束的表示，不一定是一段最终可视化的清晰视频。

基于这一观察，作者提出Simple-WAM。它不在推理时执行完整的视频去噪链，而是对完全加噪的未来视频令牌进行一次前向计算，并让动作专家使用这一步得到的未来表征。同时，训练阶段的噪声调度也被调整，使其与推理时的单步行为保持一致。

从设计取舍看，Simple-WAM位于两种方案之间：相比显式WAM，它避免了反复生成清晰未来帧；相比潜变量WAM，它没有彻底丢弃未来条件。素材显示，在仿真和真实世界任务中，该方法在泛化表现上优于显式WAM，同时保持接近潜变量WAM的效率。

这项工作对具身智能系统提出了一个重要提醒：世界模型的价值不一定等同于生成质量。对于动作控制而言，未来表征是否参与决策、在何时参与决策，可能比是否输出完整视频更关键。

如果这一结论在更多机器人平台和任务中得到验证，未来的世界模型设计或许会从“生成尽可能逼真的未来”转向“以最低成本构造对动作有用的未来状态”。这也为视频生成模型与策略模型的协同提供了新的思路：推理阶段可以牺牲一部分视觉重建，却保留对控制最有价值的预测信号。

需要注意的是，现有素材主要给出了研究结论与方法概览，未提供具体任务数量、性能数值或完整实验设置。因此，Simple-WAM相对不同基线的优势幅度，以及单步未来表征在更复杂长时规划中的适用边界，仍需结合论文全文和后续复现实验判断。