Code2Video-Compass：重新衡量代码生成视频的真实能力

导语

当视频生成从“输入提示词、输出画面”走向“让模型编写程序并生成完整视频”，评测重点也需要随之改变。代码驱动的方法能够提供更细的场景控制、局部编辑和组件复用能力，但模型必须先理解视觉与时间要求，再把它们转化为可执行代码，最终还要产出符合指令的视频。Code2Video-Compass 正是针对这一完整链路提出的综合基准。

核心要点

• 覆盖三类输入设置。 基准同时评估文本到视频（T2V）、图像到视频（I2V）和视频到视频（V2V），避免只用单一输入形式判断模型能力。
• 任务范围更接近完整创作。 数据集包含 2104 项任务，覆盖 10 个类别和 24 个子类型，并从场景构建、动态动画、状态依赖三个维度描述任务复杂度。
• 结合文字要求与视觉参考。 任务既来自文本指令，也来自完整的专业视频和用户创作视频，并据此构造相应的多模态生成任务。
• 同时看结果和过程。 评测框架由 12 项客观指标和 5 项主观指标组成，关注操作表现、视频质量、文本与视频的一致性、参考内容保真度，以及指令遵循和整体质量。

评测揭示了什么

该研究评估了来自 9 个模型家族的 15 个近期专有和开放权重多模态大语言模型。结果表明，领先模型在不同输入设置和任务复杂度之间仍有明显的性能波动。模型可能在某些任务中生成视觉上较好的结果，却无法稳定执行所要求的代码或操作；反过来，程序执行可靠也不必然意味着最终视频具有理想的质量和一致性。

这一“视觉质量—执行可靠性”之间的脱节很重要。对于代码生成视频而言，模型不仅要会描述画面，还要正确处理对象状态、动作变化和时间关系。仅用最终视频的观感进行排名，可能会忽略代码是否真正完成了目标，也难以区分偶然生成成功与可重复的程序化能力。

意义与影响

Code2Video-Compass 的价值在于把代码生成视频从若干专门任务中拉回到更完整的创作场景，并提供了跨模态、跨复杂度的比较坐标。对模型研究者来说，它有助于定位问题究竟出在需求理解、代码执行、动态建模还是参考保持；对应用开发者来说，评测结果也提醒人们，选择模型时不能只看样片质量，还要关注执行稳定性和指令完成度。

随着代码成为视频生成系统中的中间控制层，未来的竞争不只是“谁能生成更漂亮的片段”，也包括“谁能更可靠地把复杂视觉意图转成可执行、可复用、可编辑的程序”。

来源：Hugging Face Daily Papers