動画生成はエージェント時代へ：ショット設計から自己改善型ワールドモデルまで

はじめに

動画生成の課題は、単一の短いクリップを鮮明に作ることから、複数ショットで一貫した作品を完成させることへ移っている。登場人物の継続性、カメラワーク、音声、編集、修正まで求められる場合、プロンプトを一度入力して結果を一度受け取るだけの仕組みでは対応しにくい。

『Video Generation Meets Agent Harness』は、この変化をエージェント・ハーネスという考え方で整理する。これは新しい動画生成モデルそのものではなく、モデルの周囲で動く実行環境である。コンテキストを構成し、ツールを公開し、状態を保持し、フィードバックを送り、計算や対話の予算を管理する役割を担う。

主なポイント

• 生成器から制作ワークフローへ。 エージェントは、脚本、ショット計画、素材管理、生成、編集、評価へ作業を分解できる。ハーネスは各工程を接続し、複数のモデルやツールを連続的に呼び出せるようにする。
• ワールドモデルを対話環境として利用。 動画ワールドモデルは、行動に条件づけられた観測や未来の予測を提供する。エージェントは観測、判断、実行、状態更新のループを形成できる。
• 明示的な状態と動画レンダリングの融合。 ゲームエンジンやエージェントが書いたプログラムで世界の状態を管理し、動画モデルでエージェントの視界を描画する混合構成が考えられる。制御性と映像表現を両立しやすい点が特徴だ。
• 自己改善の対象は広い。 改善対象は完成した動画だけでなく、ハーネスの状態、生成器のパラメータ、評価器、さらに改善手順そのものにも及ぶ。
• 評価は依然として難しい。 画質だけでは、ショット間の一貫性、行動と結果の因果関係、物語の連続性、音声、ツール利用の有効性を測れない。

意義と課題

ハーネスという視点は、動画生成をモデルのデモからタスク実行のアーキテクチャへ移す。将来の自動制作システムは、小さなデジタル制作チームに近いものになるかもしれない。エージェントが目的を分解し、動画モデルがシーンを生成し、コードツールが素材や環境を管理し、評価器が問題を検出して次の計画へ戻すという構成である。

この仕組みでは、エージェントとワールドモデルが互いに改善を促す。エージェントは探索や行動によってモデルの弱点を見つけ、ワールドモデルは意思決定を繰り返し検証する環境を提供する。改善は動画の再生成にとどまらず、ツール、状態管理、評価基準、改善戦略へ拡張される可能性がある。

ただし、長期記憶、視聴覚理解、コード操作の信頼性、予算制御、統一的な評価は未解決の課題である。実用的なシステムには、魅力的な断片を作るだけでなく、現在の状態を把握し、ショット間の整合性を守り、失敗から制御可能な形で復旧する能力が求められる。

出典：Hugging Face Daily Papers