Frechet Forcing：只用短视频训练，如何让世界模型稳定生成4000帧以上

2026年10月20日阅读约 3 分钟

导语

视频世界模型的目标，不只是预测下一帧，而是根据历史画面和连续动作，逐段生成一个可供智能体继续交互的未来。问题在于，这类模型通常只用短视频片段训练：当生成长度超过训练区间，模型会把自己此前的预测重新作为输入，早期的小误差便可能不断放大，最终表现为场景漂移、物体变形或动作执行偏离。

传统解决方案之一是让模型学习自己的长距离 rollout，再通过分布匹配蒸馏将其拉回教师模型的分布。但在动作条件世界模型中，教师并不容易获得。外部视频模型可能不理解输入动作；使用原模型自身作为教师，又无法真正消除相同的漂移问题。

Frechet Forcing提出了不同的目标：长轨迹不必逐帧复制某个教师或对应的真实未来，只要它仍然是当前场景中合理、真实，并且遵循动作指令的延续即可。研究将这一目标拆成三项约束：

生成锚定：在真实片段末尾接入模型自己生成的历史，再应用流匹配损失，让模型在接近部署状态的上下文中继续学习。
上下文保真：以每个短片段自身的真实内容为中心，比较自由 rollout 的潜在特征统计与真实统计之间的Fréchet距离，降低场景身份和布局逐渐改变的风险。
现实匹配：在冻结的感知特征空间中，将生成帧的统计分布与真实帧比较，约束画面保持自然、可信，而不是只追求数值上的连续。

这三类信号都可以从短视频中获得，不需要一段覆盖数千帧的真实未来，也不需要在线判别器或额外教师。动作跟随则继续由模型原有的条件生成目标维持。

论文对预训练于253帧片段的MiniWorld-1B进行微调，并使用最长381帧的训练片段。摘要报告称，在不超过36个GPU小时的微调后，模型生成轨迹可以稳定延伸到4000帧以上，同时在机器人操作和相机控制探索任务中继续响应动作输入。

这项工作的价值不只是延长视频。它把长时域训练从“寻找一段足够长的示范轨迹”，转向“在短真实数据上约束生成分布”。对于真实世界数据难以长时间连续采集的机器人系统，这种思路降低了数据门槛；对于流式生成模型，也说明训练目标可以直接贴近部署时的自回归使用方式。

不过，Fréchet距离约束的是特征统计而非逐帧正确性，因此它更适合保证整体真实感和场景稳定性，不能单独证明每个动作都被精确执行。未来仍需要更细粒度的动作一致性、物体状态和跨任务评测，才能判断这类模型是否真正具备可靠的长期规划能力。