Player-1：合成経験でゲーム操作エージェントを訓練する

導入

画面を理解し、キーボードやマウスで操作するコンピュータ利用エージェントは大きく進歩しています。しかしゲームでは、単純なクリックや単発のキー入力だけでは十分ではありません。画面の変化を追いながら一定時間入力を続けたり、視点を細かく動かしたり、複数の操作を組み合わせたりする必要があるためです。Player-1は、ゲームエージェントを大量の実演の模倣にとどめず、合成経験から制御能力を学習させる方法を提案します。

仕組みの要点

Player-1は、コンピュータ操作モデルを出発点とする後学習パイプラインです。中心となる工夫は三つあります。

• ゲーム向けの行動表現。 通常のキーボード・マウス入力に、相対的なポインター移動、入力の持続、複合アクションを加えました。これにより、一度のクリックでは表せない連続移動や、複数入力の協調を扱いやすくします。
• 実演による初期化。 6044本の選別されたゲーム軌跡を使ってモデルを教師あり微調整します。各軌跡にはタスク指示、記録された操作、視覚的推論が対応付けられています。ここでは、すべての状態を網羅するのではなく、観察と操作の基礎を与えることが目的です。
• 合成環境での強化学習。 Player-1-Gymは、ゲームに共通する制御上の難しさを反映した16種類の2D・3D環境で構成されます。報酬はプログラムで検証でき、観測と制御ダイナミクスはランダム化されています。モデルはPPOによって複数環境を横断して学習します。

結果と意味

MineDojo-300では、Player-1-9BとPlayer-1-35B-A3Bが、それぞれのSFT方策から27.8ポイントと17.7ポイント改善しました。Player-1-9Bの成功率は38.33%で、評価された最強ベースラインの12.63%を上回ります。ViZDoom-10とGameWorldでも、SFTを超える改善が報告されています。

この成果の意義は、特定ゲームのスコアだけにありません。ゲームは、視覚理解、行動の実行、結果に基づく次の判断を一つのループで検証できる場です。合成環境なら、現実のゲームから大規模な相互作用データを収集するよりも、状態や報酬を再現しやすくなります。観測や制御方法をランダム化することで、固定された画面や操作手順への過度な依存も抑えられる可能性があります。

一方で、合成環境が市販ゲームの多様な仕組みを完全に再現するとは限りません。ベンチマークでの改善が、開放的で長時間にわたるゲームプレイへそのまま移転するかも、今後の検証が必要です。Player-1はゲーム制御を解決したというより、実演学習から試行錯誤学習へ進むための現実的な橋渡しを示した研究といえます。

出典：Hugging Face Daily Papers