動画理解から世界モデルへ：動画AIを捉える4つの操作

導入

動画は世界そのものではなく、カメラが切り取った限定的な記録である。画面外の領域や遮蔽物の裏側は映らず、圧縮や視点の制約も含まれる。車が壁の後ろに隠れればフレームからは消えるが、現実の世界から消えたわけではない。この考え方を出発点に、サーベイ「Reading, Writing, Sharing, and Interacting with the World through Video」は、動画理解、動画生成、統合型モデル、動画世界モデルを「世界モデリング」という共通の軸で整理している。

4つの操作

サーベイでは、関連研究を次の4つの操作に分類する。

• 読む（Reading）：観測された動画から、物体、行動、関係、状態など、潜在する世界の性質を推定する。
• 書く（Writing）：テキストや条件、学習済みの世界状態から、目に見える動画を合成する。
• 共有する（Sharing）：理解と生成を共通のモデル機構で扱い、見るモデルと作るモデルを別々の存在として捉えない。
• 相互作用する（Interacting）：行動が加わり、新たな観測が届くたびに、世界の状態を予測して更新する。

この枠組みは、動画AIの能力を単なる認識や生成の成否ではなく、観測と変化する世界の関係をどこまで学習しているかという問題に置き換える。

滑らかな動画と一貫した世界は別物

動画生成では、画質、動きの滑らかさ、短い範囲での時間的一貫性が重視されてきた。しかし、フレームが自然につながっていても、物体の同一性、遮蔽後の状態、空間関係、行動の結果に矛盾が生じることはある。

そこでサーベイは、観測された系列の時間的一貫性と、そこから推測される世界状態の一貫性を明確に分ける。前者は隣接フレームの見た目に関する性質であり、後者は物体が持続し、物理的・因果的な関係が保たれているかという性質である。見た目が滑らかなことは、世界モデルとして十分な証拠にはならない。

評価については、もっともらしい出力、条件への忠実さ、世界状態の一貫性、そして下流の意思決定への有用性という段階が示される。世界モデルを名乗るには、単にリアルな動画を作るだけでなく、より高い段階を確認する必要がある。

研究の重心と今後の課題

600件を超える研究を対象に、タスク、表現、アーキテクチャ、データセット、制御、メモリ、遅延、物理的グラウンディング、応用、ベンチマークなどを整理した結果、研究の重心はクリップ単位の認識や知覚的な忠実度から、持続する状態、制御可能な変化、物理・因果的妥当性、相互作用と意思決定に基づく評価へ移りつつある。

また、何を予測するか、状態遷移をどのように扱うかという2軸から動画世界モデルを分類する。予測対象は画素などの観測でも潜在状態でもよく、遷移は受動的、行動条件付き、あるいは対話的な形を取り得る。

長期的な一貫性、物理・因果的な接地、ラベルなし動画からの制御学習、異なる場面や身体への一般化、確率的な世界や稀な事象の扱いは、なお未解決である。今後の評価は画質比較だけでなく、介入後の予測や実際の判断への貢献を検証する必要がある。

出典：Hugging Face Daily Papers