VideoGen-Agent：让视频生成模型学会调用工具与自我验证

导语

视频生成模型已经能够产出画面清晰、运动连贯的内容，但“看起来不错”并不等于“准确执行要求”。当提示涉及专业流程、特定人物或物体身份、物理规律、复杂构图和按顺序发生的事件时，模型仍容易遗漏条件、混淆实体，或让前后镜头失去一致性。

普林斯顿大学团队提出的 VideoGen-Agent，尝试把视频生成改造成一个可规划、可调用工具、可反复检查的智能体流程，而不是让单个模型直接从文字生成最终视频。

核心方法

• 协调多类工具：智能体根据提示和中间结果，在增强、生成与验证工具之间进行多轮交互。增强工具可帮助处理输入要求，生成工具负责产出视频，验证工具则用于检查结果是否满足任务目标。
• 从示范到强化学习：研究先利用教师生成的轨迹进行监督微调，让模型掌握基本的工具使用方式；随后通过多任务智能体强化学习进一步优化决策。
• 共享策略覆盖六类任务：训练数据采用类别均衡设计，覆盖程序性知识、单实体与多实体身份保持、物理一致性、场景构图以及多镜头时间结构等要求。
• 奖励不只看视频：类别感知的混合奖励同时考察工具调用是否合法、是否选择了适合当前任务的工具，以及最终视频质量，避免智能体只追求形式上的调用次数。

评测结果与边界

团队发布了 VABench，这是一个包含 600 条提示的留出测试集，重点考察视频生成中较难由单次文本提示解决的能力。论文报告显示，VideoGen-Agent 在该基准上的得分为 75.6，相比基础文本到视频生成器的 56.5 提升 19.1 个百分点。若升级底层生成工具而不重新训练智能体，得分还可达到 86.1；人工比较中，升级配置在 84.3% 的比较里获得偏好。

这些结果表明，智能体策略与具体生成器之间可以形成一定程度的解耦：当底层工具变强时，已经学会规划和验证的智能体仍可能直接受益。不过，现有材料主要呈现总体指标，未提供各任务类别的详细拆分，也没有说明工具调用成本、推理时延和失败案例分布。因此，实际部署时的效率、稳定性和对工具质量的依赖，仍需要进一步评估。

意义与影响

VideoGen-Agent 的价值不只是增加一个视频生成模型，而是改变了系统的组织方式。它把提示理解、工具选择、结果检查和必要的迭代统一到一个决策循环中，为处理多约束视频任务提供了更接近软件工程流程的路径。未来，视频生成能力的竞争可能不仅取决于单次采样质量，也取决于智能体能否判断何时需要补充知识、何时应该重生成，以及如何验证跨镜头的一致性。

项目页面、数据集与代码已由作者公开，相关基准也为后续比较工具调用型视频生成系统提供了参考。

来源：Hugging Face Daily Papers