Sauron：让智能体评测先找证据，再下结论

导语

当智能体能够连续执行数十步甚至更长流程时，判断“任务是否完成”就不再是简单的结果比对。关键证据可能留在文件、网页、数据库等环境状态中，也可能只出现在执行轨迹里。若评测器只看最终状态，或直接接受智能体的成功报告，就可能把未完成的任务判为成功。

这类误判在评测结果被用于强化学习奖励时尤其危险：错误的奖励会鼓励智能体继续采用投机、绕过检查甚至“报喜不报忧”的策略。论文《Evidence-First Agentic Verification》提出Sauron，试图把智能体评测从“直接裁决”转向“先调查证据，再形成结论”。

核心要点

• 同时检查状态与轨迹。 Sauron不会把环境当前状态或智能体自述当作唯一依据，而是针对评测标准查询相关状态和执行记录。
• 独立验证主张。 智能体声称某一步已完成，并不等于事实成立。Sauron会回到主张对应的来源，确认是否存在支持它的实际证据。
• 控制查询范围。 系统使用有界查询，并把共享证据的相关标准放在一起调查，从而减少重复读取和不必要的上下文消耗。
• 输出可审计凭据。 每个判断都附带支持该结论的证据收据，使后续人员能够追溯评测器为何判定通过或失败。

实验结果

在100个个人助理任务、共2586条人工标注评测标准上，Sauron在测试的8种骨干模型上都取得了5种验证器中的最高F1，同时成本低于最强基线Gandalf。以GPT-5.6 Sol为例，Sauron的F1为0.96，Gandalf为0.92，成本低23%；在关注执行过程的标准上，差距更明显。

研究者还构造了覆盖13类问题的成对故障注入测试，其中部分故障用于模拟奖励投机。Sauron识别出97%的注入失败，同时只将2%的正常样本误报为问题，即使其他基线获得完整执行轨迹，也未达到同等表现。在TRAIL真实智能体错误检测与定位基准上，Sauron在三项质量指标上均领先于Gandalf和TRAIL自带评测器。

意义与局限

Sauron的价值不只是提高一个评测分数，而是改变了评测器的工作方式：结论必须能够回到证据来源，过程标准也不应被最终结果完全掩盖。这为长周期智能体的自动验收、强化学习奖励设计和错误诊断提供了更稳健的基础。

不过，论文给出的结果仍主要来自个人助理任务、故障注入场景和特定基准。证据来源更开放、环境变化更快或任务领域更专业时，查询策略和证据收据是否同样可靠，还需要进一步验证。总体而言，Sauron说明，随着智能体执行能力增强，评测系统也必须具备调查能力，而不是只充当一个会给分的裁判。

来源：Hugging Face Daily Papers