WorldWeaver：マルチエージェント動画生成に共有世界状態を導入

導入

インタラクティブな世界モデルでは、見た目として自然な動画を生成するだけでは不十分です。複数のエージェントが同じ環境を別々の視点から観測する場合、視点が変わっても世界の状態は保たれなければなりません。Hugging Face Daily Papers に掲載された論文「Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers」は、この課題に対して WorldWeaver（W²）というストリーミング型マルチエージェント動画拡散モデルを提案しています。

核心ポイント

• 観測履歴だけに頼らない設計：従来の自己回帰型動画拡散パイプラインは、過去の観測フレームを条件として次の映像を生成することが多い。この方法は短期的な連続性には有効ですが、複数エージェントや複数視点で共有される世界状態を安定して維持するには限界があります。
• 世界状態レジスタの導入：WorldWeaver は、学習可能な token をレジスタとして使い、共有世界情報と個々のエージェント状態を保持します。これらのレジスタは、各動画チャンクの生成後に動的に更新されます。
• 多様な監督信号：レジスタは、個別エージェントの状態、鳥瞰図を含むグローバル状態ビュー、シーンテキストなどの信号で grounding されます。単なるピクセル列の延長ではなく、より構造化された状態表現を学ばせる狙いがあります。
• Mixture-of-Transformers：世界状態を扱う部分と視覚フレームを生成する部分に別々の重みを使う構成により、「状態を保つ」処理と「映像を描く」処理を分離しています。
• Minecraft での検証：実験は 2 エージェントの Minecraft 動画生成を対象としており、明示的な世界状態モデリングが論理的一貫性と生成品質を改善すると報告されています。

意義と影響

WorldWeaver の重要性は、世界状態を動画生成の副産物ではなく、モデル内部で明示的に管理すべき要素として扱っている点にあります。長い観測履歴にすべてを埋め込むのではなく、エージェント間で共有され、時間とともに更新されるレジスタを用意する設計は、ゲーム環境、シミュレーション、具身 AI、マルチエージェント計画にとって有用な方向性です。

現時点で素材から分かる範囲は、主に論文概要と Minecraft 実験に関する記述に限られます。そのため、より多くのエージェント、長時間の展開、現実世界の動画で同じ効果が得られるかは慎重に見る必要があります。それでも、長期的に一貫したインタラクションを実現する世界モデルには、フレーム履歴を超えた内部状態の仕組みが不可欠になる、という示唆は明確です。

出典：Hugging Face Daily Papers