VerifierBench：让智能体证明自己的验证器真的可靠

导语

对于能够调用工具、修改环境或编写代码的 LLM 智能体来说，完成任务只是第一步。系统还需要一个验证器，判断结果是否满足任务要求，并据此发放奖励、筛选训练数据或决定是否继续执行。问题在于，验证器本身也可能由模型生成，因此它同样需要被系统评估。

VerifierBench 将这一问题单独提出：给模型提供解决任务时可获得的任务说明和环境，让模型写出一个可执行验证器，再用模型事先看不到的测试案例检查它是否能接受所有有效解、拒绝无效解。

核心要点

• 基准包含 222 个任务，覆盖工具调用、环境状态和代码变更等类型，来源涉及多个智能体任务基准。
• 测试集包含 4,993 个隐藏案例，其中既有不同形式的正确答案，也有常见错误和针对验证逻辑的攻击。
• 在统一智能体框架下评估的 19 个模型，标准化平衡准确率为 10.6 至 62.1。
• 模型生成的验证器通常更容易拒绝错误答案，却不一定能接受全部正确答案。部分验证器甚至拒绝所有被测试的解决方案，导致表面上的“严格”掩盖了实际不可用。
• 失败原因包括擅自假设答案格式、限制工具使用方式，以及要求代码必须以某种形式修改。模型的自测也可能失效，因为它测试的答案与验证器共享同一套错误假设。

为什么重要

传统评估往往只关注验证器能否抓住错误，但一个合格的验证器还必须覆盖任务允许的多种正确实现。否则，系统会把合法答案误判为失败，奖励模型可能被错误信号带偏，合成数据筛选也会丢弃有价值样本。

这项工作因此提出一个关键实践：同时测试“能否通过一个正确答案”和“能否通过其他符合任务约束的答案”。研究团队还介绍了 Gavel 这一验证器生成工具，通过证据头、领域规则库和编写原则，帮助模型只检查任务真正要求的证据。素材显示，结合 Gavel 的配置在 VerifierBench 上达到 68.3，但这一结果属于工具增强后的配置，不应与基础模型的区间直接混为一谈。

更广泛地看，VerifierBench 把智能体评估从“答案对不对”推进到“判断答案的机制是否可靠”。随着智能体被用于自动化执行和自我改进，验证器将成为系统安全边界的一部分，其开放性、容错性和对替代解法的覆盖能力，都需要像任务完成率一样被量化评估。

来源：Hugging Face Daily Papers