GameXpert-Bench：ゲーム生成から本格開発までを測る

はじめに

自然言語の指示から、実際に動くゲームをコーディングエージェントに作らせることは、もはや単なる概念実証ではない。しかし、遊べるプロトタイプを生成することと、熟練開発者のようにゲーム開発を完遂することの間には大きな差がある。ゲームにはプログラムロジック、視覚・音声素材、画面構成、操作性、プレイアビリティ、デバッグ、継続的な改修が同時に求められる。Tencent Hunyuanのチームが提案したGameXpert-Benchは、この差を測るためのベンチマークだ。

成果物だけでなく開発過程を評価

既存の評価は、一度きりの生成結果や、単独の修正工程に焦点を当てることが多い。だが実際の開発では、エージェントはまずプロジェクトを作り、ユーザーの指摘や自らの検出をもとに問題へ対応し、その後も既存機能を壊さずに新機能を追加しなければならない。

GameXpert-Benchは、この流れを3つのトラックに分ける。

• GameGen：ゼロからの生成。 空のワークスペースで、1回の自然言語要求からゲームを作成する。コード、素材、操作、遊びやすさが一体として機能するかを調べる。
• GameFix：診断と修正。 報告された不具合への対応に加え、明示されていない問題の発見も求める。もっともらしいコード変更ではなく、実際の原因を突き止められるかが焦点となる。
• GameOpt：複数ターンの最適化。 ユーザーとエージェントの実際の開発軌跡をもとにした要求連鎖で、累積的な変更と回帰の抑制を評価する。

評価には静的なコード確認だけでなく、ライブ操作、決定的な動作テスト、最終成果物の基準が使われる。ベンチマークは11ジャンルの生成タスク97件、50ステージからなる人手検証済みの修正タスク100件、6ターン・102要求を含む最適化チェーン17件で構成される。

明らかになった限界

結果から見える傾向は明確だ。現在のエージェントは、遊べる基盤を作り、明示的な要求を局所的に実装することには比較的強い。一方で、自ら欠陥を見つけること、実行時の挙動を確認すること、複数回の変更後も以前の機能を維持することには不安定さが残る。

ゲーム開発は、文章をコードへ変換するだけの作業ではない。機能が追加されていても、操作が反応しない、ロジックが衝突する、後の修正で旧機能が失われる、といった問題が起こり得る。プロセスと成果物の両方を測ることで、GameXpert-Benchは一度の生成成功では見えない長期的な弱点を表面化させる。

意義と影響

エージェント研究にとって、本ベンチマークは評価の軸をコード生成から実行可能な製品と長期ワークフローへ広げる。ツール開発者には、実行時観測、テスト生成、故障箇所の特定、回帰防止の重要性を示す。利用者にとっては、エージェントをプロトタイプ制作の有力な協力者として使いつつ、完全に無監督の開発者とは見なさない方がよいことを示唆する。

ゲームは、長期的なエージェント能力を検証する密度の高い環境でもある。より強いシステムには、コードを書く力だけでなく、結果を検証し、フィードバックを理解し、要求の変化の中で全体の整合性を保つ力が必要になる。

出典：Hugging Face Daily Papers