OneWM：让世界模型与动作学习在同一训练框架中相互促进

导语

在具身智能研究中，世界模型与策略模型通常被分开讨论：前者预测环境如何变化，后者决定机器人下一步做什么。OneWM提出了一个更紧密的连接方式——在共享的视频—动作架构中，用统一的因果训练同时处理两类任务，考察它们能否互相提供监督信号。

核心方法

OneWM把动作放在两个位置上：一方面，指定动作作为条件，让模型预测执行之后可能出现的画面；另一方面，动作本身又是模型需要学习和生成的目标。这样，模型既要理解“如果这样做，世界会怎样变化”，也要学习“面对当前场景，应该怎样行动”。研究关注的不是单独追求更逼真的视频，而是验证世界预测和策略学习之间是否存在可迁移的收益。

论文在LIBERO、LIBERO-Plus和RoboCasa365等具身数据集上评估策略学习与世界建模，并进一步开展真实机器人实验。结果给出了双向的积极信号：当模型学习指定动作对应的视觉后果时，策略在变化场景中的表现和泛化能力得到提升；反过来，动作学习也改善了同一架构下的多视角世界预测保真度。

这项工作的意义

• 统一训练目标：动作不再只是控制输出，也成为理解环境因果变化的关键条件。
• 世界模型服务策略：预测动作后果能够帮助策略判断不同操作可能造成的结果，从而减少只依赖表面视觉模式的倾向。
• 策略反哺预测：动作生成任务迫使模型关注哪些变化与控制有关，进而提升世界预测的有效性。
• 从离线评估走向实体验证：除基准测试外，研究还展示了堆叠方块、收纳和早餐准备等真实机器人任务，说明该思路并非只停留在视频生成层面。

仍需谨慎看待的地方

素材没有提供具体的性能提升幅度，也未说明模型在更长时间跨度、更多机器人形态或复杂接触动力学下的稳定性。因此，当前结论更适合被理解为统一因果训练的实证支持，而不是世界模型已经解决了长期规划问题。项目展示的“无尽梦境”是从初始观察出发的模型自回滚放，不是在模拟器中执行的真实控制轨迹；相关演示不应与实际机器人成功率混为一谈。

总体来看，OneWM的价值在于提出并验证了一个简洁的研究假设：动作学习和世界建模并非只能争夺同一套数据或计算资源，合理共享架构与因果目标后，二者可能形成闭环。未来若能结合更可靠的长期预测、在线交互和不确定性评估，这一方向或许能进一步连接视觉预测、策略泛化与机器人控制。

来源：Hugging Face Daily Papers