記事一覧へ戻る

miHoYoの「Gamer」、長時間のゲーム操作に挑むVLA研究

読了目安 3 分

miHoYoの崩壊AI研究チームが、ゲームを長時間操作するエージェント「Gamer」の研究を発表しました。ゲーム内部の状態や専用APIを使わず、画面を見て指示を理解し、キーボードとマウスで操作する視覚・言語・行動(VLA)モデルです。デモに使われた8Bパラメータ版はQwen3-VL-8Bを基盤とし、『崩壊:スターレイル』での戦闘、仕掛けの操作、キャラクターへの追従などを行います。

Gamerの仕組み

  • 画面と操作を結び付ける: 複数のゲームの録画映像とプレイヤー操作を対応付け、共通のキーボード・マウス形式に変換して学習します。モデルはおよそ200ミリ秒ごとに画面を読み取り、短い操作を計画した後、新しい画面を見て行動を調整します。
  • 長いタスクを記憶で支える: 学習は継続事前学習、教師ありファインチューニング、オンライン強化学習の三段階です。ファインチューニングには約1000時間の『崩壊:スターレイル』のデモを使います。進行状況、失敗した試み、重要な場所、次の計画を要約し、古い情報が文脈から失われるのを防ぎます。また、道筋が明確ならすぐ行動し、失敗や目標変更が起きた場合に推論を深める「スパース思考」を採用しています。
  • 環境からの反応で改善: TA-GRPOは長いタスクを記憶でつながる区間に分け、目的地への到達や段階目標の達成といったゲーム環境からの結果を使って試行を比較します。推論エンジンは処理済みの文脈を再利用し、確認済みの操作を先に準備して応答遅延を抑えます。

論文によると、Gamerは『崩壊:スターレイル』のメインストーリー5章、約50時間にわたる評価で、自律して動作した時間の割合が95%を超えました。また、7種類のミニゲームに含まれる未学習タスク40件では、基盤モデルの3.2%から、継続事前学習後に15.0%、教師あり学習後に39.2%、強化学習後に49.7%へ向上したと報告されています。これは論文が設定した評価環境での結果であり、あらゆるゲームを確実に攻略できることを意味しません。

意義と今後の課題

Gamerの狙いは、単一ゲームの操作を覚えさせることにとどまらず、複数ゲームでの操作、計画、記憶、環境との相互作用による学習を一つの流れにまとめることです。共通の入力方式は、ゲームごとに専用接続を作る必要性を減らし、ゲームをエージェント学習の場として活用する可能性があります。研究チームは、自動テストや開発サイクルの短縮、新しいゲームプレイの支援を応用先に挙げています。一方、未知の場面での安定性や実際の開発工程への導入は、今後さらに検証が必要です。

出典:量子位

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
Signal、スマホOSのAIによるチャット画面取得を制限へ
AIエージェント
cctest.ai
AIエージェント

Signal、スマホOSのAIによるチャット画面取得を制限へ

Signalは、iOS 27と、AIアシスタントによる画面読み取りを検知できる一部のAndroid端末で、アプリ画面のキャプチャを制限するとしています。プライベートなメッセージの読み取りや保存を防ぐ狙いですが、あらゆるデータアクセスを遮断できるわけではありません。

続きを読む