EvoWorld、カメラの外側まで進化する動画生成モデルを目指す

導入

動画生成モデルは、短い映像を作る道具から、視覚的な世界をシミュレートするモデルへと期待が広がっている。しかし、画面が自然に見えることと、世界が筋道立って変化していることは同じではない。たとえば野生動物が現れた場合、モデルは動物を描くだけでなく、近くの人物が逃げるのか、身を隠すのか、立ち向かうのかを状況に応じて推測すべきだ。人物が一度画面外へ出ても、再登場時にはその出来事の影響が反映される必要がある。

画素の連続性から状態の連続性へ

拡散型の動画モデルは、映像の写実性や短時間の時間的一貫性を主に最適化してきた。一方で、人物、物体、関係、出来事を含む世界の状態を、生成の進行に合わせて明示的に管理する機構は必ずしも備えていない。そのため、映像は一見リアルでも、登場人物の行動が変わらなかったり、出来事の結果が描かれなかったり、再び現れた主体が以前の状況を忘れていたりする可能性がある。

EvoWorldはこの問題を「視界外の因果的進化（Out-of-Sight Causal Evolution）」として定式化する。モデルはまず出来事を映像として実現し、その後、人物や物体、環境の状態がどう変化するかを推論する。さらに、重要な動きが画面外で進んだ後、因果的に妥当な結果を再び画面に提示する。求められているのは単なる見た目の記憶ではなく、変化し続ける世界の記述を保持し、それを次の生成に利用する能力である。

「脳」とレンダラーの分業

EvoWorldでは、視覚言語モデルを世界の「脳」と位置づける。モデルは生成済みの動画セグメントを観察し、登場する主体や関係、発生したイベントを整理し、次に起こり得る状態遷移を推論する。分割自動回帰型の動画レンダラーは、その高レベルな推論を実際の映像へ変換する。

この設計が目指す能力は次の通りだ。

• イベントに応じた進化：出来事の発生後、関係する主体の状態や行動を変化させる。
• 主体と場面の再訪：人物や場所が再登場したとき、以前の状態とのつながりを保つ。
• 画面外のダイナミクス：一時的に見えない主体も、世界の中で活動を続ける。

研究では、学習・評価用にEvoWorld-DataとEvoWorld-Benchも導入された。これらはイベントの実現、因果的反応、再訪時の一貫性を対象とする。提供された概要によれば、実験では視覚的品質と一貫性を保ちながら、イベント条件付きの因果的進化で最近のモデルを上回ったとされる。ただし、提示資料には具体的な数値や詳細な実験条件がないため、あらゆる面での優位性と解釈することはできない。

意義と課題

EvoWorldは評価の軸を「このフレームは自然か」から「この世界は起きたことに応じて動き続けるか」へ広げる。長時間動画、インタラクティブなシミュレーション、将来の世界モデルにとって、重要な問題設定になり得る。

一方、誤った状態更新が蓄積する可能性や、レンダラーが推論された遷移を正確に映像化できない問題は残る。多数の主体の相互作用や、より長い時間での因果的一貫性も今後の検証課題だ。EvoWorldが示す方向性は明確である。動画モデルは世界をそれらしく描くだけでなく、なぜ世界がそのように変化したのかを保持する必要がある。

出典：Hugging Face Daily Papers