让世界模型先执行规则，再生成画面：Stateful Harness如何补上“隐状态”短板

导语

视频世界模型正在从“看起来像真的”走向“按照规则运行”。现有系统通常能够根据一张图像和用户动作生成后续视频，用户也可以在场景中移动、观察或探索。但当动作结果取决于当前画面看不见的状态时，仅靠视频生成模型往往不够可靠：两个外观相同的场景，可能因为隐藏变量不同而需要产生完全不同的结局。

清华大学团队提出的 Stateful Harness，正是针对这一问题设计的框架。它的核心思路不是要求视频模型独自记住整个世界，而是把“世界如何变化”和“变化后长什么样”拆成两个环节。

核心要点

• 由状态系统执行规则。 框架维护一个持续演化的世界状态，并根据预先指定的规则解析用户动作。例如，同一个操作在不同隐藏状态下可以触发不同事件。
• 由视频模型负责渲染。 状态系统确定事件后，将结果编译成视频模型能够理解的指令，再使用冻结的视频模型生成对应片段。一个可编辑的 3D 场景还会提供空间布局和镜头运动方面的预览指导。
• 生成结果会回写状态。 视频片段并非交互终点。系统利用生成结果更新下一轮世界状态，从而形成“动作—规则解析—视频渲染—状态更新”的循环。
• 用反事实双胞胎测试规则遵循。 团队构建了 WorldState-Bench，包含 50 对案例。每一对案例共享初始画面和动作，但拥有不同的隐藏状态与目标结局，因此可以检验模型是否真的理解规则，而不是只生成表面相似的画面。

结果与意义

在只通过规则提示词驱动的设置下，参与评测的 11 个视频后端中，表现最好的系统仅有 32% 的案例能够同时完成一对案例所要求的结局。以 MiniMax-H3 为视频后端时，直接指定所需结局可将这一比例提高到 64%；使用完整 Stateful Harness 后，在相同冻结模型下达到 92%。这组结果说明，问题未必只是视频模型画质或运动能力不足，也可能在于它承担了不适合由生成器独立完成的状态管理任务。

这项工作对交互式视频、游戏环境和具身智能都有启发：生成模型可以专注于像素、镜头与空间表现，规则引擎则负责可验证的世界演化。不过，当前评测规模仍为 50 对反事实案例，框架效果也依赖状态表示、规则设定和视频后端。未来还需要检验更复杂、更开放的长期交互，以及状态更新本身的可靠性。

来源：Hugging Face Daily Papers