AgentWorld、長期タスクでLLMエージェントの協調性を検証

導入

複数の大規模言語モデルを組み合わせれば、単体モデルより複雑な仕事を処理できるのか。この問いに対して、従来のマルチエージェント評価は十分な答えを出せていなかった。競争型の環境や20ステップ未満の短い対話を扱うもの、あるいは各エージェントの個別性能を合算するだけの評価が多く、長期的な協力そのものを切り分けにくかったためだ。

AgentWorldは、この不足をMMORPG型のサンドボックス環境で検証する。タスクは50ラウンド以上に及ぶ場合があり、3〜20体のエージェントが異なる役割と能力を持って参加する。各エージェントは他者の内部状態を直接確認できないブラックボックス設定で行動するため、通信を通じて目標、資源、進捗、次の計画を共有しなければならない。

主なポイント

• 長期協調を中心に設計。 人手で注釈付けされた100タスクに加え、100の拡張バリエーションを用意し、短時間の意思決定ではなく継続的な通信と共同計画を評価する。
• 役割と能力に非対称性がある。 エージェントごとに担当や利用できる能力が異なるため、誰が何を行うべきかを理解し、状況の変化に応じて分担を調整する必要がある。
• 成功率だけで協調を測らない。 因果協調有効性（CCE）は、エージェントの行動間にある因果的な依存関係を追跡し、チームの努力のうち結果に結び付いた部分を測ろうとする。
• 共有計画の維持が難しい。 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini、DeepSeek R1-70Bを用いた実験では、最良モデルのタスク成功率も52.0%にとどまった。通信の断絶、役割の混同、ラウンドをまたいだ計画の維持失敗が主な問題として報告されている。

意義と影響

AgentWorldの重要性は、ゲーム環境を採用したことだけではない。チームがタスクを完了したかに加え、その過程でどの行動が結果を生み、どの程度の作業が重複や空振りだったのかを問う点にある。CCEは、協調をブラックボックスの成功結果から行動のつながりへと分解するための一つの方法を示している。

また、単体モデルの能力とチームを運営する能力は別物だという点も明確になる。強いモデルであっても、共有状態の更新、他者の役割理解、重要情報の伝達、計画の修正を長期間続けるのは容易ではない。今後のマルチエージェント基盤では、モデル性能だけでなく、通信プロトコル、共有メモリ、進捗管理、失敗からの復旧も重要になるだろう。

もちろん、AgentWorldは管理されたMMORPGサンドボックスを対象とするため、現実の組織や業務への結果をそのまま一般化することはできない。それでも、「完了したか」から「どのように完了し、どの行動が有効だったか」へ評価軸を広げた点で、信頼性と説明可能性の高い協調エージェント研究に向けた有用な出発点となる。

出典：Hugging Face Daily Papers