GTAGym：『GTA V』をAIエージェント評価と強化学習の環境に

導入

ゲーム内でエージェントにタスクを完了させるには、画像認識や質問応答以上の能力が必要になる。エージェントは自然言語の目標を理解し、変化する3D環境を観察し、キーボードやマウスで行動し、状況が崩れたときには計画を修正しなければならない。さらに、タスクが本当に完了したかは最後の画像だけでは判断しにくく、従来の評価では人手による確認が必要になることが多かった。

OpenMOSSチームのGTAGymは、『Grand Theft Auto V』をAIエージェントの評価と強化学習に利用するための統合環境である。特徴は、AAAゲームを使うこと自体よりも、ゲーム状態、操作インターフェース、成否判定、タスク生成を一つのループにまとめた点にある。

主なポイント

• 多様なタスク構成。 GTAVBenchは『GTA V』のメインストーリーミッションをもとに、九つのタスク群に分けた103件のオンラインタスクを収録する。さらに、ゲーム画像を使う射撃・狙撃タスクが47件ある。
• エンジン状態による自動判定。 エージェントはスクリーンショットを見て、キーボードとマウスで操作する。サーバーはゲームエンジンの状態から、目標が達成されたかを確認する。
• より厳しいAGI分岐。 GTAVBench-AGIでは指示が最初のスクリーンショットにだけ表示され、以後の履歴はハーネスが自動圧縮する。単純な指示追従だけでなく、記憶と長時間の制御を評価する設定だ。
• 制御系タスクに弱点。 六つの先端LLMの最良構成は70.9%の総合正解率を達成したが、最も難しかったのは空中ナビゲーションで、迎撃と回避が続いた。
• 強化学習にも利用可能。 指定された範囲や選択肢からタスクパラメータをサンプリングし、3Dナビゲーションや画像射撃の環境を一括生成できる。報酬と終了条件も自動で与えられる。

実験の意味

研究チームは、生成した徒歩ナビゲーションタスクを使い、Qwen3.8-27BにLoRA強化学習を行った。学習後は同一分布だけでなく、分布外のタスク群にも改善が移り、ネイティブな『GTA V』タスクでは性能が15%から23%に上がった。これは長期的なゲーム操作が解決したことを意味しないが、自動報酬とタスク生成が訓練を体系化する可能性を示している。

GTAGymの意義は、知覚、推論、行動、結果確認を同じ評価ループに置いたことにある。静的データセットと違い、ゲームでは状態の変化と行動の結果が連続して生じる。自動的な終了条件は、デモンストレーション中心の評価から、大規模な反復学習へ進むための基盤になり得る。

一方、70.9%という総合値だけで能力を判断するのは早い。空中ナビゲーション、回避、迎撃の難しさは、空間理解、時間的計画、リアルタイム制御に課題が残ることを示す。今後はタスクテンプレートの拡張、環境再現の安定性、未知の複雑なミッションへの転移が重要になる。

出典：Hugging Face Daily Papers