视频生成进入智能体时代：从镜头编排到可自我改进的世界模型

导语

视频生成的竞争重点，正在从“单个画面是否逼真”转向“能否完成一段连贯、可控、可修改的复杂视频”。当任务从生成一个短片段扩展到多镜头叙事、角色一致性、镜头调度和后期剪辑时，单次输入提示词、单次输出结果的模式很快会遇到瓶颈。

题为《Video Generation Meets Agent Harness》的报告提出，应通过“智能体运行框架”（agent harness）重新理解视频生成系统。它不是一个单独的模型，而是一套围绕视频模型运行的执行环境：负责构建上下文、提供工具、保存状态、传递反馈，并管理计算和交互预算。

核心要点

• 从生成器转向制作系统。 智能体可以将视频任务拆分为脚本创作、镜头规划、资产管理、画面生成、剪辑和评估等环节。运行框架负责协调这些步骤，让多次调用不同工具成为一个连续流程，而不是互相割裂的操作。
• 世界模型成为可交互环境。 视频世界模型不仅预测下一帧或未来片段，也可以根据动作产生条件化观察。智能体通过观察、决策、执行和更新状态，与一个动态环境形成闭环。
• 显式状态与视频渲染结合。 报告讨论了一种混合设计：由游戏引擎或智能体编写的程序维护世界状态，再由视频模型负责渲染智能体看到的观察结果。这样既能保留程序化环境的可控性，也能利用视频模型的视觉表现力。
• 递归自我改进不止于重生成。 改进对象可以是最终视频、运行框架中的状态、生成器参数、评估器，甚至是执行改进本身的方法。不同层级的反馈会影响后续任务的规划和系统配置。
• 评估仍是关键短板。 多镜头一致性、动作与画面的因果关系、叙事连贯性、声音质量以及工具调用是否有效，都不能简单用单帧清晰度衡量。

意义与影响

这一框架的价值，在于把视频生成从“模型能力展示”推进到“复杂任务执行”。未来的自动化视频制作可能更像一个小型制作团队：智能体负责分解目标和调度资源，视频模型承担视觉生成，代码工具维护场景和资产，评估模块持续发现问题，再将结果返回给下一轮规划。

这种架构也让视频世界模型与智能体形成相互促进的关系。智能体可以通过探索和行动暴露世界模型的缺陷，世界模型则为智能体提供可反复试验的环境。随着反馈链路延长，系统有机会从修改输出，进一步发展到修改工具、状态管理和评估机制。

不过，报告并未把这一方向描述成已经解决的问题。长时记忆、视听理解、可靠的代码交互、预算控制和统一评测仍是自主视频生产必须面对的基础挑战。真正可用的系统，不仅要生成“看起来不错”的片段，还要能解释当前状态、保持跨镜头一致，并在失败后以可控方式修正。

来源：Hugging Face Daily Papers