VisSearch-Bench：多模态智能体为何仍难完成长期视觉搜索

导语

多模态智能体已经能够调用网页和图像工具，回答超出自身知识范围的问题。但在不少现有搜索任务中，图片只承担“识别第一个实体”的作用，后续流程便退化为文本检索。这种设置难以检验智能体是否真正理解并持续利用视觉证据。

VisSearch-Bench 针对这一缺口，评估智能体在长期视觉搜索中的上下文管理能力：它是否能记住图片中的对象、局部细节与空间关系，并把这些线索与后续搜索结果正确关联起来。

核心要点

• 任务规模与覆盖面：基准包含204个由人工编写的任务，覆盖7个主要领域和25个子领域。每项任务都配有参考答案、可追溯证据和明确的评分规则。
• 五类搜索方式：任务分为集合式视觉搜索、序列式视觉搜索、混合宽搜—深搜、竞争式视觉消歧，以及视觉结构引导搜索。它们分别考察多对象整理、视觉线索接续、候选比较、相似实体区分和空间结构利用能力。
• 同时评估结果与过程：除了衡量任务是否完整解决，VisSearch-Bench 还设置 Process Score，检查单个结果和子问题答案是否正确、是否完整。这样可以区分“最终碰巧答对”和“搜索过程可靠”两种情况。
• 整体表现仍有限：在16个多模态模型的测试中，表现最好的系统也只完整解决了26.47%的任务，说明搜索工具并不能自动弥补视觉上下文管理上的缺陷。

模型通常卡在哪里

研究者反馈显示，集合式视觉搜索尤其容易暴露智能体的失控行为：有些系统过早停止，有些在已经找到相关信息后仍重复搜索，还有些会回到此前错误的猜测。即便已经检索到相关图片，模型也可能用记忆或推测补齐答案，而不是核对视觉证据。重复查询相同对象还会消耗图像预算，使上下文越来越冗长、混乱。

混合宽搜—深搜进一步放大了这一问题。智能体往往优先处理更容易推进的文本搜索，却把必要的视觉核验留到最后。随着对象和证据不断增加，它必须持续记录“哪张图片对应哪个对象”“哪条网页信息支持哪个判断”，最后还要把这些关系整合成一致、完整的答案。

意义与影响

VisSearch-Bench 的价值在于，它把多模态搜索从“看图识物”推进到“基于视觉证据完成长期调查”。对于模型开发者，这意味着工具调用次数或最终答案准确率都不够，还需要更好的视觉记忆、证据索引、搜索停止判断和跨步骤一致性检查。对于评测研究，Process Score 也提供了更细的诊断视角：模型究竟是没有找到证据，还是找到了证据却没有正确使用。

这项工作并未表明某一种架构必然胜出，而是揭示了当前多模态智能体的共同短板：它们可以分别处理图像和文本，却仍不稳定地把两者组织成一条可验证的推理链。随着智能体被用于研究、购物、事实核查等长流程任务，视觉上下文管理将成为比单轮识别更关键的能力。

来源：Hugging Face Daily Papers