『Slay the Spire』でAIの長期戦略を測るSpireBench、後半で広がる専門家との差

導入

大規模言語モデルは、ツールを使い、課題を分解し、複数の操作を連続して実行できるようになった。しかし、行動を続けられることと、長い時間軸で適切な戦略を選べることは同じではない。SpireBenchはこの違いを調べるため、商用デッキ構築ゲーム『Slay the Spire』の完全なゲーム体験をエージェントに与える。マップ、カード、レリック、戦闘、休息の選択が相互に影響し、序盤の判断が後半で結果として現れるゲームだ。

主なポイント

• 短いエピソードではなく、ゲーム全体を評価。 個別の戦闘や簡略化されたターンだけでなく、原作の進行全体を扱う。最高難度で20の言語モデルを、ヒューリスティックなベースラインや人間の成績と比較した。
• 序盤は健闘するが、後半で失速。 最も強いモデルは第1幕の勝率で専門家に近く、ヒューリスティック手法を上回り、平均的なプレイヤーにもおおむね匹敵する。一方、ランが長くなると専門家との差は広がった。
• 戦闘ごとの判断が差を生む。 強いモデルと弱いモデルを分けるのは、マップ選択だけではない。各戦闘でダメージ、資源、危険度をどう扱うかが重要で、モデルは局所的な目標を理解しても、それを一貫した長期戦略にまとめるのが難しい。
• 安全策に偏りすぎる。 モデルは、体力を消費してでもデッキを強化できる場面で、体力を残す傾向を示す。目先の損失は避けられても、後続の戦闘で戦力不足になりやすい。
• 記憶を書いても安定して成長しない。 ゲーム内の用語を包括的かつ一貫して置き換えると成績が変化し、既存のゲーム知識が判断に寄与している可能性が示された。しかし、周回の間にモデルが書く記憶は誤りや過度の慎重さを含み、継続的な改善にはつながらなかった。

意義と影響

SpireBenchの意義は、ゲームを題材にしたことだけではない。知識、局所推論、リスク評価、資源管理、運の影響を一つの長い意思決定列に置き、エージェントがどの段階で失敗したのかを調べられる点にある。単一の戦闘でのミスなのか、後からコストが膨らむ序盤の選択なのかを切り分けやすくなる。

この結果は、短く独立したタスクだけでは戦略能力を過大評価する可能性も示す。もっともらしい説明を生成できても、遅れて現れる結果を管理できるとは限らない。今後の評価では最終勝率だけでなく、段階別の成功率、戦闘中の意思決定、周回をまたいだ経験が本当に役立ったかも見る必要がある。

長期的なエージェント能力を伸ばすには、モデルの大型化やコンテキストの拡張だけでは不十分かもしれない。リスクと利益の釣り合い、局所経験の一般化、誤った記憶の抑制が重要になる。SpireBenchは、こうした未解決の弱点を調べるための、まだ余地の大きい評価環境を提示している。

出典：arXiv