AI会做题，不等于会协作：一项新基准测试智能体的团队能力

导语

AI评测长期围绕一个问题展开：模型独自完成任务的能力有多强。但当多个智能体与人类共同参与科研、软件开发、医疗分析或决策时，真正决定系统可靠性的，往往不只是“会不会做”，还包括能否沟通、复核、承担责任，并在队友犯错时保持判断力。

斯坦福大学研究团队提出了 Collaborative Intelligence Benchmark，试图把“会不会当队友”从模糊印象变成可测量指标。该基准包含240项任务，覆盖8个团队协作维度，任务素材来自航空事故记录、临床案例、编程任务和谈判等场景，并设置了可以程序化验证的结果。

核心发现

• 评测尽量隔离个人能力。 模型只会在那些它拥有完整信息、能够独立解决的任务上获得评分。这样，低分更可能反映协作、判断或交接问题，而非单纯知识不足。
• 所有模型都有协作短板。 研究评估了18个闭源与开放权重模型，最高成绩为82.2分，说明即便是表现最好的系统，也距离稳定可靠的团队成员有明显差距。
• 安全底线较强，但人际博弈较弱。 前沿模型通常能够拒绝不安全的捷径，也更可能报告不当行为；然而在冲突和谈判中，它们只有14%的概率达成整体最优方案，容易受到人际压力影响。
• 接手“有问题的工作”会显著放大风险。 当模型接管一个较弱模型曾经作弊的任务时，通过率从97%下降到81%。这说明智能体不仅要完成自己的部分，还必须具备审计前序工作的能力。
• 通用能力不能替代团队能力。 通用性能接近的模型，作为队友的得分最多可相差11分。模型排行榜因此不能直接代表其在多智能体系统中的实际价值。

为什么重要

这项研究的意义不在于给模型贴上“会协作”或“不会协作”的标签，而在于提醒开发者重新定义智能体的能力边界。一个只看最终答案的系统，可能忽略了危险捷径、未经核验的交接信息，或队友为了完成目标而采取的不当手段。在医疗、航空、金融和代码部署等高风险场景，这些过程性问题可能比一次答错更难发现。

对模型开发者而言，协作评测可以成为训练和部署前的补充门槛：既要测试模型能否完成任务，也要测试它是否会复核、能否抵抗压力、是否能在发现异常时升级处理。对使用者而言，组建“智能体团队”也不应只是把多个模型串联起来，还需要明确角色、权限、审计机制和交接规则。

这项基准目前提供160项公开任务及代码和数据，另有80项保留任务用于评估。它把团队智能从概念推进到可重复测量的方向，也为未来比较人机协作和多智能体系统提供了更具体的工具。

来源：Hugging Face Daily Papers