GameWAM：ゲームの世界理解と行動生成を一体化するモデル

導入

ゲームを操作するエージェントに必要なのは、画面の内容を認識してキーを押す能力だけではありません。アクションの結果として世界がどう変化するかを予測し、持続する状態を追跡しながら、ゲーム固有の入力方式で計画を実行する必要があります。既存のゲームエージェントは視覚情報やタスク情報から直接アクションを出力することが多い一方、インタラクティブなワールドモデルは与えられたアクションから未来の画面を予測しても、タスクを遂行するポリシーになるとは限りません。GameWAM はこの二つを統合する World-Action Model として提案されました。

仕組み

GameWAM は、視覚の未来と実行可能な操作軌跡を別々の段階で扱わず、同時に生成します。並列な視覚・アクション用の拡散 Transformer を用い、block-causal な条件付けと flow matching によって両者の関係を学習します。そのために、ゲームプレイと GUI 操作を時間同期させた軌跡も構築しています。これにより、画面の変化、操作モード、ネイティブ入力を同じ時間軸で対応付けられます。

ネイティブ操作には異質性があります。カメラやカーソルの移動は連続値ですが、キーボード入力は離散的な意味を持ちます。また、同じマウスやキーボードを使っていても、ゲーム操作と GUI 操作では意図が異なります。GameWAM は各アクション時点で gameplay と GUI のモードを予測し、モードごとの出力分布を選択します。連続アクションには正規化も施し、異なる操作空間を一つの生成プロセスで扱いやすくしています。

長いタスクには block-cycle 制御を使います。モデルは実際に確定する範囲より先まで予測しますが、実行するのは短いアクション接頭部だけです。新しい観測を得ると、残りを盲目的に実行せず再計画します。サイクル内の細かな文脈と、サイクルをまたぐ階層的な視覚履歴によって、メモリを制限しながら時間的な連続性を保ちます。

結果と課題

提供された素材によれば、GameWAM は Minecraft と ViZDoom で競争力のある閉ループ性能を示しました。Minecraft では、評価された各タスクカテゴリにおいて、比較対象のエージェントより少ないネイティブアクションで動作したとされています。これは成功率だけでなく、低レベル入力をどれだけ効率よく使えるかという観点でも注目されます。

一方、論文は生成制御の問題も明らかにしています。Low-Frequency Action Source Imprinting（LASI）は、条件が同じでも、サンプリングされたアクション源の低周波成分が大まかなカメラ運動を誘導する現象です。その偏りが再計画のたびに残ると、一定方向へのドリフトとして蓄積する可能性があります。生成モデルの揺らぎは単なるランダムノイズではなく、長期行動の傾向を作る場合があるという指摘です。

意義

GameWAM は、「次に世界がどう見えるか」と「何をすべきか」を同じ予測ループで扱うゲームエージェントの方向性を示します。ゲームと GUI を統一的に扱う設計は、アプリケーションをまたぐネイティブ操作にも応用の余地があります。ただし、素材にはモデル規模、データ量、タスク別の詳細な数値は含まれていません。したがって現時点では、汎用的なゲーム操作を解決した最終技術というより、統合設計と生成アクションの安定性に関する重要な検討として評価するのが適切です。

出典：Hugging Face Daily Papers