DeepStress：给深度搜索智能体做“坏证据”压力测试

导语

搜索智能体正在成为复杂问答、资料核查和研究辅助中的关键组件。它们通常会分多步检索网页或文档，再把外部证据与模型自身知识结合起来生成答案。但一个容易被忽视的问题是：如果检索到的材料本身质量很差，智能体还能保持判断力吗？arXiv 论文《DeepStress: Stress-Testing Deep Search Agents》正是围绕这一问题展开。

论文认为，现有真实基准中低质量证据出现频率往往不高，因此很难充分暴露系统在恶劣信息环境下的脆弱性。然而在真实应用里，搜索结果可能来自不可靠来源，可能与问题只有表面相关，也可能包含错误事实。一旦智能体过度依赖这些证据，就可能在看似有依据的情况下给出严重错误的回答。

核心要点

• 从“自然检索”转向“可控压力测试”：DeepStress 的关键做法是替换搜索智能体原有的检索模块，改用一个可控的合成环境。这样研究者可以有意识地调节困难证据出现的频率，而不是等待真实检索结果随机暴露问题。
• 三类证据风险被分开考察：框架围绕文档可靠性的三个维度展开：可信度、相关性和事实性。可信度涉及来源是否可靠，相关性关注文档是否真正回答问题，事实性则检验内容本身是否正确。
• 比较不同智能体的抗干扰能力：作者在 HotpotQA 和 BrowseCompPlus 上测试了若干搜索智能体，结果显示，不同系统面对不可靠信息时表现差异显著。这意味着“会搜索”并不等于“能识别坏证据”。
• 关注参数知识与检索知识的冲突：论文还提出新指标，用来更细致记录系统输出，以及模型内部知识与检索到的信息发生冲突时的互动方式。这一点对 RAG 和搜索增强智能体尤其重要。

意义与影响

DeepStress 的价值不在于推出一个更强问答模型，而在于提供了一种更严苛的评测视角。当前许多智能体评测强调最终答案是否正确，但较少区分错误来自推理失败、检索失败，还是对不良证据缺乏抵抗力。通过可控地注入低质量证据，DeepStress 能让研究者更清楚地看到系统的失效边界。

对于实际部署，这类压力测试也有直接启发。面向法律、医疗、金融或企业知识库的搜索智能体，不能只追求覆盖率和速度，还需要具备证据筛选、冲突处理和拒答能力。未来，智能体评测很可能从“能否找到答案”进一步走向“能否在混乱信息中保持可靠”。

来源：arXiv