DreamFree：把视频世界模型的未来预测变成机器人即时决策能力

机器人要在真实世界中完成操作，不能只识别“眼前有什么”，还要判断“接下来会发生什么”。世界动作模型（WAM）的思路，正是利用视频模型对环境变化的预测能力来辅助控制。但传统方案往往需要生成未来视频，逐步去噪不仅计算昂贵，预测偏差还可能进一步传导到动作决策中。

DreamFree的核心变化，是把“想象未来视频”改成“预测未来表征”。研究团队将预训练视频扩散模型作为冻结的教师模型，让它在看到未来视频后提取视觉表征；与此同时，另一个视觉编码器只接收当前观测，并学习复现教师表征。这样，编码器无需真正生成未来画面，也能获得关于场景后续变化的线索。

在此基础上，研究者使用带动作标签的机器人示范训练动作模块。模块从视觉编码器输出中读取与动作最相关的信息，再通过动作解码器预测控制信号。训练视觉编码器的阶段只需要视频数据，不依赖动作标注，这为利用大规模互联网视频或其他来源的机器人视频提供了空间。

核心结果包括：

• 在仅使用DROID数据训练、且不进行任务专属微调的评测中，DreamFree在10项真实世界任务上的成功率达到64%，高于素材中提到的DreamZero和π0.5基线。
• 采用14B视频骨干时，系统可在单张H200上以11Hz进行闭环控制，相比DreamZero实现更快推理；同时，它不需要在推理阶段生成未来视频，也不使用无分类器引导。
• 14B模型可以部署在一张48GB显存的A6000上，显示出相对务实的内存需求。
• 从5B扩展到14B后，控制表现明显改善；更多视频数据也能带来收益，而且不需要额外动作标签。
• 对新任务，系统可以利用视频示范学习任务序列，示范甚至可以来自不同机器人形态。

这项工作的意义不只是提高一个机器人策略的分数。它说明，视频模型的规模和数据优势能够通过合适的表征接口进入控制系统，而不必承担完整视频生成的推理成本。更重要的是，未来信息被压缩进当前观测对应的视觉表征后，世界模型与动作策略之间形成了更直接的连接。

当然，素材主要给出了方法概述和代表性结果，尚未提供完整的任务划分、失败案例、训练成本及不同视频来源的详细对比。因此，DreamFree能否在更复杂、更长时序或更大规模机器人平台上稳定扩展，还需要论文完整实验进一步验证。就目前信息看，它为“视频预训练知识如何服务实时机器人控制”提供了一条清晰路线：蒸馏预测能力，而不是在线生成想象。

来源：Hugging Face Daily Papers