「プレイ」ではなく「構築」する：LLMエージェントが酒場の戦場AIを開発

概要

複雑なゲームをLLMに直接プレイさせると、盤面の理解、長期的な計画、確率的な展開への対応、そして短い制限時間内の判断が同時に求められる。研究論文「Build, Don’t Play」は、別の役割分担を試みた。LLMには研究者やエンジニアとしてゲームAIを構築させ、実際の操作は専用の強化学習エージェントに任せるという発想だ。

その実装がAutoTavernである。対象となった「ハースストーン：酒場の戦場」は、8人で戦うオートバトラーで、ランダムなショップと戦闘、隠れた情報、相互作用する約1000枚のカードを含む。

主なポイント

• 専門化した研究エージェントが協力する。 AutoTavernでは、複数のLLMエージェントが役割を分担する。調査結果は型付きの研究メモリで共有され、ゲームメカニクスに関する主張は検証ゲートを通る。曖昧なルールについては、人間が目標と判断基準を設定する。
• プレイヤーより先に環境を作る。 システムは20日間でTavernGymを開発した。これはライブ版のゲームを、コンテンツ全体を含めて忠実に再現することを目指したシミュレーターだ。強化学習では、ショップのランダム性、戦闘結果、隠れた情報、カード同士の相互作用をどれだけ正確に表現できるかが、訓練結果の信頼性を左右する。
• 実戦が改善ループを閉じる。 AutoTavernは方策だけでなく、シミュレーター、対戦相手モデル、さらに研究プロセスそのものも実戦フィードバックで改善する。実際のゲームに合わせて調整した対戦相手を使い、PPOによってTavernAgentを訓練し、23のバージョンを作成した。
• 強さと応答速度を両立した。 TavernAgentのレーティングは約6000から約15000まで上昇した。提示された公開ランキングの比較では、直近20試合の平均順位は1.60、1位率は80％で、サーバー上位10人の2.34、59％を上回った。40シナリオ、960課題からなるTavernBenchでは、プレイ課題の正答率が91％、判断時間は約0.03秒だった。

意義と限界

この研究の重要性は、単にゲームで高い成績を出したことにない。ルールの調査、環境の実装、対戦相手の生成、方策の訓練、評価、実戦による修正を、ひとつの自動化された研究サイクルに接続した点にある。LLMは探索、コーディング、検証、調整を担い、時間制約の厳しい操作は訓練済みの専用モデルが担当する。

論文タイトルの「プレイするな、構築せよ」という主張も、ここから理解できる。ゲームを直接プレイする能力と、強いゲームAIを作る能力は同じではない。TavernBenchでは、フロンティアLLMのプレイ課題の成績は最大でも63％で、一部は判断に最大26秒を要した。一方、ライブターンで許される1秒以内では、TavernAgentは90％の性能を維持したと報告されている。

もっとも、結果は一つのゲームと実験設定の中で評価すべきだ。曖昧なメカニクスには人間の判断が残り、シミュレーターや対戦相手の調整品質も訓練結果に影響する。したがってAutoTavernは、LLMがあらゆる研究を自律的に完遂した証明というより、AI開発そのものを自動化する有望なループの実例と見るのが適切だろう。

出典：Hugging Face Daily Papers