世界モデルに「先にルール、後に映像」を実行させるStateful Harness

導入

動画世界モデルは、1枚の画像とユーザーの操作から、もっともらしい次の映像を生成できるようになっています。シーン内を移動したり、カメラを動かして環境を探索したりする用途では、すでに一定の実用性があります。しかし、見た目が自然であることと、世界のルールに従っていることは同じではありません。現在のフレームには表示されない過去の出来事や内部状態が結果を左右する場合、見た目が同じ2つのシーンでも、同じ操作に対して異なる結果が必要になります。

清華大学の研究チームが提案したStateful Harnessは、この問題に対して、世界の状態変化と映像生成を分離する設計を採用しました。動画モデルだけにルールの記憶と状態管理を任せるのではなく、専用の仕組みでイベントを決定し、動画モデルは主にその結果を描画します。

主なポイント

• 明示的な状態をルールで更新する。 Harnessは進行中の世界状態を保持し、指定されたルールに基づいてユーザーの操作を解釈します。隠れた状態が異なれば、同じ画面と操作でも別のイベントを選べます。
• 動画モデルはイベントを描画する。 状態システムが結果を決めた後、そのイベントを動画モデル向けの指示に変換します。編集可能な3Dシーンから得たプレビューは、空間配置やカメラの手がかりとして利用されます。
• 生成映像を次の状態に反映する。 生成されたクリップは単発の出力ではありません。次のターンに向けて世界状態を更新し、操作、ルール処理、描画、状態遷移のループを構成します。
• 反実仮想のペアで検証する。 WorldState-Benchには50組のケースがあります。各ペアは初期フレームと操作を共有しますが、隠れた状態と求められる結末が異なるため、表面的な映像の一致だけでは対応できません。

結果と影響

ルールだけをプロンプトで指定する条件では、評価された11種類の動画バックエンドのうち、最良のシステムでも、ペアの両方で必要な結末を生成できた割合は32%でした。MiniMax-H3では、必要な結末を明示すると32%から64%に向上しました。さらに、同じ固定モデルを使った完全なStateful Harnessでは92%に達しました。

この比較は、課題が動画の画質や動きの自然さだけにあるのではないことを示します。生成モデルに状態の記録とルールの実行まで同時に求めるより、検証可能な状態管理層を分けた方がよい場合があります。インタラクティブ動画、ゲーム環境、ロボットのような具身システムでは、映像モデルが外観や動きを担当し、別の機構が世界の整合性を管理する設計が有望です。

一方、今回のベンチマークは50組のケースで構成され、状態表現やルールの定義にも依存します。より長期で開放的な対話や、状態更新そのものの信頼性については、今後の検証が必要です。

出典：Hugging Face Daily Papers