SWE-Game、コーディングエージェントのゲーム開発力を検証

導入

コードエージェントにプログラムを起動させることと、設計どおりに動き、入力へ正しく反応し、実際に遊べるゲームを作らせることは別の問題です。ゲームでは、状態管理、当たり判定、進行条件、操作への反応、フィードバック、画面表現が相互に関係します。小さな要件漏れやロジックの誤りだけでも、完成したように見える作品がプレイ中に破綻する可能性があります。

Hugging Face Daily Papersで紹介されたSWE-Gameは、こうした能力を広く測るためのベンチマークです。単にコードが実行できるかではなく、エージェントが仕様を理解し、ゲームメカニクスを再現し、既存の不具合を修正し、その結果を検証可能な形で示せるかを調べます。

主なポイント

• 開発工程を幅広くカバー。 247タスクは、41本の実行可能なGodot製リファレンスゲームを基盤としています。対象は2D・3Dの13種類のゲームプレイです。タスクは、短い説明からのゲーム制作、ゲームデザイン文書に基づく実装、コード骨格の補完、83件の人工的な故障の修正、GodotからUnityへの移植に分かれます。
• 動画だけに依存しない評価。 共通の計測インターフェースにより、評価側がゲームを操作し、プローブで実行時状態を観測できます。エンジン状態の検査、認証済みの入力リプレイ、エージェント自身による機能デモを組み合わせ、メカニクスの正しさ、プレイ可能性、修正後の挙動の回復と維持を評価します。
• 見た目は別軸で判定。 ゲームごとに設計された視覚言語モデル用の評価基準を使い、ゲームプレイの正しさと画面表現の質を分離して測定します。
• 安定した構築はまだ難しい。 6モデルの比較では、Opus5が5種類すべてで最高の総合成績でした。しかし、3つの構築タスクの最高総合点はいずれも100点中60点未満で、Brief-to-Gameの最高点は50.38でした。提出物の分析では、要件の見落としとゲームロジックの誤りが主な問題でした。
• 実行時の証拠が有効。 100本のエージェント制作ゲームに含まれる人手ラベル付きの挙動では、実行可能なチェックの平衡精度が92.59%となり、動画ベースのVLM審査の78.41%を上回りました。200本のゲームプレイ映像では、ルーブリックによる視覚評価と人間評価のSpearman相関係数が0.829でした。

意義と影響

SWE-Gameの意義は、ゲーム向けの順位表を追加したことだけではありません。コード生成を、実際のソフトウェア挙動の検証へと広げている点にあります。ゲームは、自然言語で書かれた要件が操作を通じて現れ、特定の入力手順で初めて不具合が発生するという意味で、エージェントにとって厳しい試験環境です。ソースコードや短い動画だけでは、こうした問題を見逃す可能性があります。

結果は、現在のエージェントの弱点が単純なコーディング能力だけではないことも示します。すべての要件を追跡し、複数の状態とルールを一貫して連携させることが難しいのです。より信頼できるエージェントには、テストの作成、境界ケースの探索、修正によって既存機能が壊れていないことを示す実行時証拠が必要になります。

現時点で現実的な用途は、完全なゲームを無監督で納品することより、プロトタイプ制作、個別機能の実装、限定的なバグ修正でしょう。SWE-Gameは、再現可能な操作、エンジンレベルの検査、視覚評価を組み合わせるという、今後の評価設計にも参考になる枠組みを示しています。

出典：Hugging Face Daily Papers