代码负责造世界，视频模型能否只做渲染？WorldDraft给出答案

导语

在传统的视频生成范式中，模型既要“想象”场景如何存在，又要把它连续地画出来。随着多模态编码代理能够通过程序构建可执行的4D世界，一种新的分工正在出现：代码负责定义物体、运动、空间关系和相机路径，视频模型则像渲染器一样，把这个已经确定的世界转换成目标视觉风格。

问题在于，视频模型真的能只做渲染吗？WorldDraft正是围绕这一问题设计的评测基准。它不再把视频生成简单归结为画面是否逼真，而是将任务拆成两个需要同时满足的目标：一是保持世界本身的动力学和镜头运动，二是在整个时间段内持续实现文本指定的颜色、材质或其他外观属性。

如何评估“生成式渲染器”

WorldDraft覆盖48个可执行的4D世界族，共设计432个严格配对的测试案例，并涵盖六类动态挑战。其核心是一个3×3的因素设计：一方面改变输入草稿的细致程度，从抽象代理逐步提升到预演级草稿；另一方面改变草稿与目标外观之间的关系，从中性提示扩展到存在冲突的视觉线索。相同的动态条件被用于不同设置，因此可以更清楚地观察模型究竟是在保持运动，还是在复制输入画面。

评测结果揭示了几个关键现象：

• 结构和外观并非天然兼容。 模型越努力保留4D运动与相机轨迹，就越不一定能准确执行新的外观要求。
• 更丰富的草稿是一把双刃剑。 细节更多的视觉支架能够锚定场景结构，但也可能让模型过度依赖草稿中的纹理和风格，从而降低外观对齐能力。
• 冲突线索会造成源泄漏。 当输入草稿的视觉属性与文本目标相矛盾时，模型可能把来源画面的特征带入结果，研究观测到的源泄漏最高达到64%。这说明跨模态解耦仍不稳固。

WorldDraft-Primer的作用

为缓解上述问题，研究提出WorldDraft-Primer，一种可插拔的视觉提示策略。它不需要改动或重新训练被冻结的视频渲染模型，而是通过更合适的视觉提示组织方式，帮助模型区分“必须保持的世界结构”和“需要重绘的外观属性”。在研究报告的评测中，该方法能够同时改善世界保持与视觉实现两项目标。

意义与影响

WorldDraft的价值不只在于新增一个基准，更在于重新定义了程序化世界与视频生成模型之间的接口。未来的系统或许不必要求单一模型同时承担物理模拟、镜头控制和视觉创作，而可以让代码提供可验证的世界状态，再由生成模型完成外观渲染。

但这条路线也提醒我们：更强的输入并不一定带来更好的可控性。只有当模型能够明确区分几何与运动约束、草稿中的参考信息，以及文本要求改变的属性时，视频模型才真正接近可靠的生成式渲染器。WorldDraft为这种能力提供了更细粒度的测量框架，也把跨模态源泄漏这一长期存在的问题置于更清晰的实验场景中。

来源：Hugging Face Daily Papers