VideoGen-Agent：動画生成にツール利用と自己検証を導入

導入

近年の動画生成モデルは、高精細な映像や比較的自然な時間的連続性を実現しつつある。しかし、専門的な手順、特定の人物や物体の同一性、物理法則、複雑な構図、順序を持つ出来事を一つのプロンプトで指定すると、条件の取りこぼしが起きやすい。見栄えのよい映像でも、対象が途中で変わったり、物理的な関係が崩れたり、ショット間の連続性が失われたりする可能性がある。

プリンストン大学の研究チームが発表したVideoGen-Agentは、動画生成をエージェントによる反復的な作業として扱う。モデルに最終映像を一度で出力させるのではなく、入力と中間結果を見ながら外部ツールを呼び出し、次の処理を決める構成だ。

主な仕組み

• 複数のツールを協調：拡張、生成、検証のツールをマルチターンで利用する。入力条件の整理、動画の生成、要求への適合確認を役割分担させる。
• 二段階の学習：まず教師が作成した軌跡で教師あり微調整を行い、ツール利用の基本動作を学習する。その後、多タスクのエージェント強化学習で判断を改善する。
• 六種類の課題を共通方策で処理：手順的知識、単一・複数エンティティの同一性保持、物理的一貫性、シーン構成、複数ショットの時間構造を含む、カテゴリ均衡のデータを使う。
• 映像品質だけを報酬にしない：呼び出しが有効か、課題に適したツールを選んだか、生成映像の品質はどうかを、カテゴリを考慮した複合報酬で評価する。

結果と注意点

研究では、難しい動画生成条件を含む600件のプロンプトからなる留保評価セットVABenchを導入した。報告されたスコアは、基礎となるテキスト・動画生成器の56.5に対し、VideoGen-Agentが75.6で、19.1ポイントの向上となった。さらに生成ツールを強化すると、エージェントを追加学習しなくても86.1に上がった。人手比較では、強化された構成が最も強い単体ベースラインより84.3%の比較で好まれたという。

これは、エージェントの計画・検証能力が特定の生成器だけに依存せず、基盤ツールの更新からも利益を得られる可能性を示す。一方、提供された概要は総合スコアが中心で、課題カテゴリ別の詳細、ツール利用コスト、推論遅延、失敗例の分布までは示していない。実運用では、品質向上のための反復処理が計算量や安定性に与える影響を確認する必要がある。

意義

VideoGen-Agentの重要性は、単に生成器を強化した点だけにない。プロンプト理解、ツール選択、生成、出力確認、再試行を一つの意思決定ループにまとめたことで、複数条件を含む動画制作をより実務的なワークフローに近づけた。

今後の動画生成では、一回のサンプリング品質だけでなく、追加情報が必要な場面、再生成すべき場面、ショットをまたぐ同一性をどう検証するかを判断する能力も重要になるだろう。著者らはプロジェクトページ、コード、VABenchを公開している。

出典：Hugging Face Daily Papers