Code2Video-Compassが問うコード駆動動画生成の実力

導入

動画生成は、プロンプトから映像を直接出力する段階から、モデルがプログラムを書き、そのプログラムで完成した動画を構成する段階へ進みつつあります。コードベースの方式には、細かな制御、対象を絞った編集、コンポーネントの再利用という利点があります。しかしモデルには、視覚的・時間的な要求を理解し、実行可能なコードへ変換し、最終的に条件を満たす動画を作ることが求められます。Code2Video-Compassは、この一連の過程を評価するために設計されました。

ベンチマークの要点

• 3種類の入力を対象にする。 テキストから動画を作るT2V、画像を動かすI2V、動画を変換するV2Vを同じ枠組みで評価します。
• 幅広い創作課題を収録する。 2,104件のタスクを10カテゴリ、24サブタイプに整理し、シーン構築、動的アニメーション、状態依存という3つの複雑度軸を扱います。
• 文章と視覚参照を組み合わせる。 テキスト指示だけでなく、完全なプロ向け動画やユーザー制作動画から派生した視覚参照タスクも含みます。
• 過程と結果を分けて見る。 12の客観指標と5つの主観指標により、操作性能、映像品質、テキストとの整合性、参照元への忠実度、指示追従、全体品質を評価します。

評価から見える課題

研究では、9つのモデルファミリーに属する15の近年の商用およびオープンウェイトMLLMを評価しました。その結果、入力形式やタスクの複雑さによって性能に大きな差が残っていることが示されました。見た目のよい動画を出力できても、要求されたコードや操作を安定して実行できるとは限りません。反対に、実行が安定していても、映像品質や参照内容との一致が十分とは限りません。

この「映像品質と実行信頼性のずれ」は、コードベース生成を考えるうえで重要です。システムは対象物を画面に置くだけでなく、対象の状態、動き、時間的な関係を指示どおりに扱う必要があります。最終動画の見栄えだけでモデルを順位付けすると、内部のプログラムが本当に課題を完了したのか、偶然の成功ではなく再現可能な能力なのかを見落とす可能性があります。

意義と影響

Code2Video-Compassは、コード動画生成を特定用途の小さな課題群から、より現実的な創作シナリオへ広げます。研究者は、失敗が要件理解、コード実行、動きのモデル化、参照保持のどこで起きたのかを分析しやすくなります。アプリケーション開発者にとっても、モデル選定ではサンプルの美しさだけでなく、実行の安定性と指示の達成度を見る必要があるという示唆になります。

今後の競争は、きれいな映像を作ることだけではありません。複雑な視覚的意図を、実行可能で再利用でき、編集もしやすいプログラムへ安定して変換できるかが、重要な評価軸になります。

出典：Hugging Face Daily Papers