返回文章列表

Coda-DaVinci:让代码与3D代理协同引导视频生成

阅读约 2 分钟

文本生成视频虽然越来越容易,但要让画面中的物体按指定结构运动、并在多个事件之间保持连贯,仍不简单。Code2Video的一条路线,是先由智能体编写代码搭建3D代理,再把代理作为视频生成的结构与动态参照。围绕这种方法,Coda-DaVinci研究的不只是“能不能生成”,还包括代理该建多细、是否需要物理模拟,以及提示词怎样与代理配合。

研究的关键观察

  • 代理粒度没有放之四海皆准的最优解:较粗略的代理更有利于自然运动,中等粒度则更利于画面一致性。这意味着代理设计需要针对任务取舍,而非一味增加几何细节。
  • 加入物理模拟,以及让提示词明确对应代理中的结构和运动信息,都能提高平均生成质量。两者分别为动作提供模拟依据和语言约束,但素材没有给出具体提升幅度。
  • 长视频评测显示,方法在事件结构和连续互动的一致性方面有所改善;转场稳定性和对场景设定的遵循仍是已知限制。

基于这些发现,Coda-DaVinci采用任务自适应策略:它可以在代理引导生成与直接生成之间选择,并按场景中不同实体调整建模粒度。框架还把物理模拟与基于代理的提示词协调起来。其多智能体流程会保留场景资产,通过视觉检查发现问题,再以独立复核辅助修复。换言之,系统不只负责产出视频,也试图把场景构建、生成和纠错组织成一条工作链。

论文摘要称,实验在VTR上显示出较强的指令遵循表现,在R2M上显示出场景一致性优势;相较直接生成,物理合理性有所改善,相较所比较的Code2Video基线,视觉真实感更高。这些是论文报告的评测结果,摘要未提供具体分数,因此不宜据此推断优势幅度或泛化范围。

还需留意结果核对问题:Hugging Face页面的一条评论指出,论文表2中G1/PE1的变化值与根据表1平均值计算的差异不一致,并指出表1中的自然度数值从1.968降至1.950。现有素材没有作者回应或更正信息,相关表格结论应留待核实。整体而言,这项工作的意义在于把3D代理视为可按任务调整的控制工具,而非固定模板;它也表明结构控制、自然运动与跨镜头稳定性之间仍需权衡。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章