AgentJudgeBench：LLM 评审智能体，能力越强就越可靠吗？

2026年9月2日阅读约 3 分钟

导语

在智能体系统中，模型是否正确调用工具、遵守步骤依赖、处理错误结果，往往比最终生成的一段文字更重要。随着工具调用流程变复杂，使用另一个大语言模型充当“评审员”已成为常见方案，但一个关键问题仍缺少系统答案：LLM 真的能可靠判断这类结构化执行过程吗？

AgentJudgeBench 正是围绕这一问题设计的基准测试。它不把评审局限于开放式文本偏好，而是聚焦由有向无环图（DAG）描述的、存在依赖关系的智能体工作流。

测试规模与维度较完整。 基准包含 3,808 个实例，覆盖六种 DAG 拓扑和三个难度等级；实验使用五种任务生成模型，以及六种不同规模的评审模型。
难度是更明显的限制因素。 评审与程序化参考答案的一致性会随任务难度单调下降。没有提供标准答案时，下降速度约为有标准答案条件的 1.5 倍。
困难任务存在结构性上限。 在没有标准答案的困难查询上，六种评审模型的表现都集中在 77%—82% 区间，模型规模并未打破这一狭窄范围。这意味着单纯扩大评审模型，并不能解决复杂工作流中的判断困难。
标准答案并非总能改善结果。 对 GPT-5.4 和 Gemini-2.5-Pro，提供真实答案反而分别使一致性下降 1.5 和 3.9 个百分点，研究者将其解释为可能出现了过度锚定：评审模型过度依赖参考信息，而不是独立检查执行过程。
提示策略效果有差异。 思维链推理和调整评审温度几乎没有明显作用；结构化评估量规最多提升 6.5 个百分点，但这种收益并不能稳定迁移到所有评审者与任务生成者组合。

这项研究提醒开发者，不应把“模型更大”直接等同于“评审更可靠”。对于工具调用智能体，评审对象不是单一答案，而是包含工具选择、参数、执行顺序和依赖关系的完整轨迹。任何一个局部错误，都可能在后续步骤中被放大；而仅凭最终输出，评审模型可能难以定位错误来源。

更实际的做法，是把评审标准拆解为可检查的结构化条件，并同时保留程序化验证。例如，对工具名称、参数格式、依赖是否满足和最终状态分别评分，再将模型判断与规则检查结合。标准答案也应被视为辅助证据，而不是无条件的权威依据。

AgentJudgeBench 的价值不在于给出一个固定的“最佳评审模型”，而在于揭示评测链路本身的脆弱性。未来评估智能体时，除了报告任务成功率，还需要说明评审器在不同难度、工作流拓扑和信息条件下是否稳定，从而避免用不可靠的自动评审结果反过来定义智能体能力。