智能体如何自我纠错？一项研究重新审视验证机制

导语

当大语言模型开始使用终端、编辑文件、运行测试或操作图形界面时，任务成败就不再只由一次回答决定。智能体需要持续观察环境、调整计划并交付结果。问题在于：它什么时候应该检查自己的工作？由谁检查？检查发现问题后，又该如何推动修订？论文《Rethinking Verification in Agent Harnesses》把这些问题统一放入“智能体外壳”（agent harness）的设计框架中进行研究。

四个层次的验证设计

研究将验证安排在智能体生命周期的四个位置：

• 初始指令：在任务开始时要求模型主动检查结果。
• 执行中提醒：在多轮工具调用期间，插入提醒，让模型重新审视当前进展。
• 完成门禁：模型声称任务完成后，要求它通过测试或其他检查，才能结束流程。
• 独立复核：让另一个批评者模型审查产物，再把反馈交给执行智能体修改。

作者在Terminal-Bench和SWE-bench Verified上，使用七个前沿编码模型比较了17种设计。同时，研究还引入VisualBench，由专家评估视觉和交互式产物的质量。这样的设置覆盖了代码任务和更依赖最终呈现效果的任务，能够观察验证机制是否具有跨场景价值。

关键结果：复核者比提醒更值得投入

初始指令和执行时提醒确实可能带来提升，但平均收益较为有限，而且表现依赖具体模型。它们通常不会显著增加输出token使用量，却也很难稳定解决复杂任务中的遗漏。

完成门禁带来的收益可能更大，但如果智能体反复运行测试、重做步骤或延长执行过程，成本也会明显上升。相比之下，独立复核呈现出更有吸引力的准确率—成本折中：在Terminal-Bench上，平均准确率提升约5.9至9.5个百分点，成本约为基线的1.13至1.25倍；在SWE-bench Verified上，准确率提升约3.9至6.6个百分点，成本约为基线的1.00至1.04倍。

在VisualBench中，四种独立复核设计相对基线都获得了正向的专家偏好，净偏好提升为13.2至23.8个百分点，并超过研究评估的较低层级验证方案。研究还显示，增加复核轮次或批评者数量，可以在单轮复核基础上继续提升Terminal-Bench平均准确率，最高再增加3.5个百分点。

对智能体工程的启示

这项工作说明，验证不是一个简单的“加一句提示词”问题，而是智能体系统中的控制环节。设计者需要同时考虑介入时机、检查者角色、反馈传递方式和额外成本。对于高价值编码任务，独立复核可能比不断强化初始提示更值得优先尝试；而在成本敏感的场景中，则应根据任务风险选择是否启用多轮检查。

更重要的是，研究把测试时扩展从“让同一个模型多想一会儿”拓展为“让不同角色协作完成检查与修订”。未来的智能体评测，也不应只比较底层模型，而应将外壳中的验证策略作为独立变量。模型能力决定了上限，验证架构则很可能决定实际系统能否稳定接近这个上限。

来源：Hugging Face Daily Papers