AlayaWorld：長時間の対話的生成を目指す動画ワールドモデル

導入

従来のゲームや仮想空間の制作では、アセット制作、アニメーション、物理挙動、プログラム実装など、多くの工程が必要になる。AlayaWorld が示す方向性はこれとは異なる。ユーザーが与えたテキスト、画像、動画を起点に、探索でき、継続的に変化する仮想世界を動画ワールドモデルで生成しようとするものだ。

この技術報告の主眼は、単に短い動画を高品質に生成することではない。ユーザーが視点を動かし、プロンプトを切り替え、長く環境を探索しても、空間的・時間的な一貫性を保ちながら応答するモデルを作ることにある。

主要ポイント

• 長時間の対話的動画生成：AlayaWorld は 24fps の動画を生成し、解像度は 540p と 720p に対応する。基盤には 15B の動画拡散 Transformer が使われ、短い latent chunk を自回帰的に生成する。
• カメラ軌跡とプロンプト制御：生成はカメラの移動軌跡と切り替え可能なテキストプロンプトに従う。これにより、ユーザー操作が生成過程そのものに組み込まれる。
• 有界な視覚コンテキスト：履歴を無制限に伸ばすのではなく、持続的な sink frame、圧縮された時間履歴、幾何的に整合した空間メモリ、直近フレーム条件を組み合わせている。
• 長期ドリフトの抑制：長い動画生成では、細部や構造が徐々に崩れる問題が起こりやすい。AlayaWorld は破損した履歴や、自身の roll-out から集めた予測残差を学習に使い、誤差の蓄積に対する耐性を高めようとしている。
• 推論の高速化：distribution-matching distillation、self-forcing++、consistency distillation を組み合わせた離散自回帰蒸留により、chunk あたりの推論を約 30 サンプリングステップから 4 ステップへ削減したとされる。

意義と影響

AlayaWorld の意義は、動画生成、インタラクション、空間メモリ、長期安定性、推論効率を一つのシステム課題として扱っている点にある。仮想世界制作、ゲームのプロトタイピング、具身 AI のシミュレーション、対話型コンテンツ制作では、環境構築のコストを下げる可能性がある。

ただし、これは従来型ゲームエンジンを直ちに置き換えるものではなく、研究基盤として見るべきだろう。実用的な仮想世界には、物理一貫性、細かな編集性、制御性、リアルタイム性がさらに必要になる。AlayaWorld がオープンソースかつフルスタックの長期プロジェクトとして位置づけられている点は、そのためにも重要だ。iWorld-Bench で長時間生成の最良性能を達成したという報告は、ワールドモデル評価の重要性も示している。

出典：Hugging Face Daily Papers