AgentWorld：把多智能体协作拉到长期任务的真实考场

导语

多智能体系统常被描述为“让多个模型一起工作”，但如何证明它们真的产生了协作，而不是把多个单体能力简单相加，仍是评测中的难题。现有基准不少聚焦竞争场景、短流程互动，或只统计每个智能体的独立表现，难以观察团队在长期任务中的分工、协调与相互依赖。

AgentWorld 试图把评测推进到更接近复杂协作的环境中。该基准建立在一个内容丰富的 MMORPG 沙盒里，任务通常持续 50 轮以上，需要 3 至 20 个拥有不同角色和能力的智能体共同完成目标。每个智能体只能通过行动和通信获取信息，无法直接读取其他成员的内部状态，因此团队必须自行建立对任务进度、资源和下一步计划的共同认识。

核心要点

• 任务强调长期协作。 AgentWorld 提供 100 个经人工标注的任务，并配套 100 个增强变体。任务要求团队持续进行沟通、联合规划和资源共享，而不是在少数几步内完成一次性决策。
• 角色与能力存在不对称。 不同智能体承担的职责和可用能力并不相同。团队能否识别角色边界、合理分配工作，并在出现变化后重新协调，成为结果的重要部分。
• 引入 CCE 衡量“有效协作”。 除了传统的任务成功率，研究提出因果协作有效性（Causal Collaboration Effectiveness，CCE）。这一图结构指标尝试追踪智能体行动之间的因果依赖，估计团队投入中有多少真正促成了最终结果。
• 长期记忆与计划仍是瓶颈。 在 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 DeepSeek R1-70B 的实验中，最佳模型任务成功率为 52.0%。常见失败模式包括通信失效、角色理解混乱，以及无法跨多轮维持共享计划。

意义与影响

AgentWorld 的价值不只是增加了一个游戏环境，而是重新强调了多智能体评测中“协作质量”这一维度。一个团队即使完成任务，也可能依赖少数成员的偶然行动，或包含大量没有产生实际作用的重复工作。CCE 提供了一种从行动依赖关系出发进行分析的思路，有助于把“团队成功”进一步拆解为谁做了什么、哪些行动推动了结果，以及协作是否真正提高了效率。

这项工作也说明，单体模型能力强并不意味着它能够管理复杂团队。长期协作要求智能体持续更新共享状态、理解他人职责、传递关键信息，并在计划失效时及时修正。对未来的多智能体框架而言，通信协议、共享记忆、任务分解和状态追踪可能与底层模型本身同样重要。

需要注意的是，AgentWorld 主要在 MMORPG 沙盒这一受控环境中衡量协作能力，结果不能直接等同于现实组织或生产系统中的表现。但它把评测从“是否完成”推进到“团队如何完成、哪些行动真正有效”，为研究更可靠、更可解释的多智能体系统提供了一个开放起点。

来源：Hugging Face Daily Papers