SearchHorizonBench：让 AI Agent 学会判断“要不要再搜一次”

导语

对 AI Agent 来说，搜索并不是越多越好。每一次检索都会带来 token、延迟和调用成本，但停止得太早又可能错过能够改变答案的关键信息。因此，Agent 真正需要判断的不是“这个问题有多难”，而是“再搜索一次，预计能带来多少额外收益”。

SearchHorizonBench 正是围绕这一决策设计的评测基准。论文将答案成功概率与搜索增益区分开来：前者描述问题本身的难度，后者描述继续执行搜索后，答案成功率可能提升多少。

核心要点

• 规模化记录真实执行经验：资源包含 45,632 次执行，覆盖 3,168 个问题，并设置了 1,632 个留出问题用于检验泛化能力。
• 分离收益与生成噪声：研究采用配对后续执行和重复执行，让评测不只依赖某一次随机生成结果，从而更接近“搜索本身带来了多少帮助”。
• 校准有所改善，但增益预测仍弱：引入历史执行信息后，Brier 误差降低 16.2%，改善主要来自对成功水平的判断；然而，搜索增益的标准差达到 21.4 个百分点，现有历史估计器对这种变化的点预测解释不足 2%。
• 价值信息能够影响决策：在参考 token 价格下，免费获得选择观察结果时，基于搜索价值做决策相比最佳固定动作存在 2.49 个百分点的效用机会，且主要由“增益信息”驱动。
• 提供可复用的研究基础：固定数据划分、历史记录、强基线和评分工具，方便后续研究比较不同的搜索价值估计方法。

意义与影响

这项工作把 Agent 的搜索问题从“是否能答对”推进到“下一步行动是否划算”。传统评测往往只关注最终正确率，容易掩盖一个事实：两个问题可能同样难，但其中一个值得继续搜索，另一个却几乎不会从额外检索中受益。若系统无法估计这种差异，就可能在低价值搜索上浪费预算，也可能在高价值节点过早停止。

SearchHorizonBench 的结果同时给出了较为克制的信号。历史数据确实能够帮助模型校准成功概率，但对具体搜索收益的预测仍远未成熟。这意味着未来系统可能需要结合当前已获得的搜索结果、任务阶段和成本模型，而不能只依赖问题的静态特征。该基准因此更像是一个测量工具：它帮助研究者把搜索策略的收益、风险和成本放到同一决策框架中比较。

Hugging Face Daily Papers