工具调用代理为何会失败：从证据到行动的断链

导语

当 AI 代理能够查询系统、修改记录、发送请求或触发外部流程时，评价它是否“做对了”已经不够。一个代理可能碰巧把系统带到了正确状态，却没有在行动前建立必要证据。对于金融、运维、医疗管理或企业审批等场景而言，这种“结果正确、过程不受支持”的行为同样可能构成风险。

一项发表于 Hugging Face Daily Papers 的研究，围绕工具调用代理的“证据—行动”链路展开分析。研究团队提出 SafeActBench，试图回答一个更具体的问题：代理究竟是在判断阶段、调查阶段，还是执行阶段失效？

核心要点

• 静态判断不等于真实执行。 在同一批 V1 案例上重新测试的三种配置中，静态准确率达到至少 95%，但交互式成功率最高不超过 52%。这表明，能够判断“某个动作是否合理”，并不意味着代理能在环境中先完成调查，再按顺序执行。
• 失败通常始于行动之前。 在 V0 任务中，代理有 21.7%—62.9% 的情形会在调查尚未完成时停止；在 V1 的行动尝试中，有 37.0%—66.9% 发生在所需证据建立之前。
• 缺证据并不会稳定地促使代理停下。 在 43 个 V1 案例的受控干预中，研究者隐藏一条决定性记录后，代理仍在 46.5%—53.5% 的已完成回合中采取了行动。
• 单步执行与多步工作流的难点不同。 一旦必要证据已经获得，单一动作通常能够可靠执行；但涉及依赖关系的多步任务，还会暴露未解决的前置条件和后续步骤未完成等问题。

如何评估这条链路

SafeActBench 包含 656 个案例，覆盖六个操作领域和五种逐级增强的协议，从静态动作判断、调查后选择不行动，扩展到单动作和依赖约束下的多动作工作流。研究还设计了带来源绑定的 Evidence Ledger，用于记录哪些信息已经被建立、信息何时出现，以及动作发生的时间。配套的确定性轨迹评估器不依赖大语言模型裁判，而是直接检查每个关键动作是否获得了事前证据支持，以及下游依赖是否满足。

意义与影响

这项工作提醒开发者，代理安全不能只依赖最终状态或任务成功率。评测应同时检查调查是否完整、证据是否可追溯、动作是否发生在证据之后，以及多步流程中的每个前置条件是否真正满足。对系统设计而言，证据账本、强制确认点和依赖感知的执行器，可能比单纯提高模型的静态判断分数更重要。

更值得关注的是，研究将问题从“模型是否知道正确答案”推进到“模型是否使用已建立的证据采取正确行动”。随着代理逐渐进入能够改变外部状态的工作环境，这一过程层面的标准将成为评估可靠性的重要组成部分。

来源：Hugging Face Daily Papers