VGI-Bench、動画生成モデルの視覚推論能力を検証

導入

動画生成モデルの評価軸は、映像の美しさやリアリティだけでは不十分になっている。見た目が自然な動画でも、物体がなぜ動いたのか、関係がどのように変化したのか、状態がどの順序で遷移すべきかを理解しているとは限らない。「VGI-Bench: Probing Visual Intelligence in Video Generation Models」は、動画生成モデルが実際にどの程度の視覚知能を持つのかを調べるための評価基盤である。

最終結果ではなく変化の過程を評価

VGI-Benchは27のタスクと810のインスタンスから構成される。タスク領域と細かなスキルタグによる二層の分類を採用し、視覚推論能力を複数の側面から分析できるようにした。

重要なのは、最後のフレームだけを確認するのではなく、映像内で進行するプロセスそのものを評価する点だ。モデルはもっともらしい最終状態を出すだけでなく、そこに至る中間の変化も視覚的に妥当なものにしなければならない。これは、動画モデルが既存の視覚的先入観から終点を推測できても、フレーム間の状態遷移を一貫して保てないという問題に対応する設計である。

また、現在の動画モデルが扱いやすい視覚的な入力条件を意識しつつ、難しすぎて全く解けない問題にならないよう、タスクの難度も調整している。

評価から見える限界

実験では、現在の生成システムが一部の視覚接地型推論タスクを解けることが示された。しかし、その能力は安定していない。評価対象の中で最も高いSeedance 2.0でさえ、基準に基づく成績は51.0%にとどまった。これは、モデルに推論能力が全くないという意味ではなく、慣れたパターンには対応できても、複数の動的制約が同時に必要な場面で崩れやすいことを示している。

分析で指摘された主な問題は次の通りである。

• 映像は一貫して見えても、課題の推論条件を満たさないことがある。
• 入力条件や見せ方に対する感度が高い。
• 合成データによる微調整で得た能力には、転移できる範囲がある。
• 内部のデノイジング過程では、後段が初期仮説を修正するより、細部を調整する傾向が強い。

研究への意味

VGI-Benchは、動画生成の進歩を画質だけでなく、プロセスの妥当性と推論の信頼性から捉え直す。テクスチャや動きの滑らかさを改善しても、計画、状態追跡、誤り訂正が自動的に強くなるわけではない。今後は、中間表現、時空間的な記憶、生成途中で仮説を再検証する仕組みが重要になる可能性がある。

このベンチマークにより、モデルがどの視覚スキルを獲得し、どの動的推論で失敗するのかを細かく比較できる。動画生成モデルがシミュレーションやインタラクション、世界モデルへ広がるほど、この種の評価の重要性は高まるだろう。

出典：Hugging Face Daily Papers