Matrix-Game 4.0：動画モデルを本当に遊べる世界へ

動画生成モデルは、プロンプトから自然な動きの映像を作れるようになった。しかし、見た目がゲームらしい映像と、実際に遊べるゲーム世界の間には大きな差がある。ゲームでは、オブジェクトの状態が継続し、入力に対するルールが一貫して適用され、操作結果が次のフレーム以降にも残らなければならない。Matrix-Game 4.0は、この問題を動画モデルだけで解決しようとせず、ゲーム実行と映像生成を分離する。

構成の中心は「実行可能なゲームハーネス」

提案システムでは、軽量なゲームエンジンがワールドの状態を保持し、プレイヤーの入力やオブジェクト間の相互作用をルールに従って処理する。マルチモーダルなコーディングエージェントは、プレイヤーの自然言語によるアイデアをゲームコードへ変換し、同時に現在の状況を説明する動的なシーンキャプションも作る。その後、自回帰型の動画モデルを利用したレンダラーが、エンジンの低ポリゴン表現を高精細な映像へ変換する。

この分業には明確な理由がある。動画モデルは、見た目や動きの連続性を表現するのは得意だが、衝突判定や得点計算、オブジェクトの永続的な位置といった厳密なルールを長時間保つことは難しい。一方、ゲームエンジンは状態と規則を安定して扱えるものの、豊かな映像表現を自動生成することには向いていない。Matrix-Game 4.0は、エンジンを世界の基盤、動画モデルを視覚表現の層として位置づける。

主なポイント

• 状態をエンジンが保持する。 各フレームを独立に推測するのではなく、オブジェクトや入力結果を継続的に管理する。
• 自然言語で試作できる。 コーディングエージェントがアイデアをコードとシーン記述に変換し、ゲーム内容や環境の変更を支援する。
• 低ポリゴン表現を橋渡しにする。 エンジンが生成した構造化された代理表現を、動画レンダラーが詳細な画面へ置き換える。
• 因果的な動画生成を採用する。 低ポリゴン映像と高品質映像の対応ペアで学習し、4フレーム単位で生成する。推論時のデノイズは1回または2回とされる。
• リアルタイム性を重視する。 論文の評価条件では、RTX 5090一枚で480p・60FPS、キー入力から表示まで112ミリ秒を報告している。1ステップ生成の定常スループットは83FPS、ピークGPUメモリは18.2GiBだった。固定プロンプトではRTX 5080が67FPS、RTX 5070 Tiが58FPSに達したという。

意義と残る課題

この研究の意味は、単に動画生成を高速化したことだけではない。生成ゲームを、ルールと状態を担う実行層、自然言語による設計層、映像を担う生成層からなるシステムとして捉え直している点にある。論文では、エンジンによって力学を強制するカスタマイズ可能なシューティングゲームとドライビングゲームを示しており、同じ考え方が複数のゲーム形式に適用できることを示唆する。

ただし、報告されたFPSは解像度、GPU、プロンプト、推論最適化に依存する。複雑で大規模な世界でも同じ性能が得られるとは限らない。また、エージェントが生成したコードの検証、長時間プレイ時の映像一貫性、物理的な妥当性、出力内容の制御も未解決の課題だ。

それでも、Matrix-Game 4.0は現実的な方向性を示している。世界がどのように動くかは実行可能なコードとエンジンで固定し、世界がどのように見えるかは動画モデルに任せる。この分離がさらに低遅延化し、記憶とルールの範囲を広げられれば、生成モデルは一度きりのコンテンツ作成ツールから、プレイヤーと共に変化するリアルタイム世界の基盤へ近づく可能性がある。

出典：Hugging Face Daily Papers