DeepVoyager-VL：让视觉参与中间推理的多模态深度搜索框架

导语

多模态大模型已经能理解图片、回答视觉问题，但在开放世界任务中仍有明显短板：模型参数里的知识是静态的，而真实问题往往需要查找最新信息、跨多个页面或图像反复验证。DeepVoyager-VL 关注的正是这一类更接近“深度研究”的场景：智能体不能只在一开始看一张图，也不能等到最后才处理视觉证据，而要在搜索和推理过程中不断决定是否需要新的图像信息。

核心要点

• 从单轮检索走向长程多轮搜索：传统多模态问答往往围绕单个输入图像或一次检索展开。DeepVoyager-VL 面向更长的推理轨迹，让文本搜索、视觉证据和中间判断连续互动。
• 视觉进入中间推理环节：论文指出，现有方法常把视觉限制在输入端或答案端，导致图片信息很少真正影响后续检索。该框架强调“vision-in-the-loop”，也就是让视觉证据成为下一步搜索策略的一部分。
• 用多模态事件图合成数据：研究构建多模态事件图来驱动数据生成，使问题天然包含中间视觉依赖和较长推理链。这有助于训练模型学习何时需要看图、看哪类图、如何把视觉发现转化为新的查询。
• 主动视觉获取与按需加载：DeepVoyager-VL 设计了智能体框架，支持在任务推进过程中主动获取视觉信息，并按需要加载图像，而不是一次性把所有视觉材料塞进上下文。
• 无需强化学习的微调路径：论文选择在合成数据上进行微调，而不是依赖强化学习。这让方法更接近可复现的数据与监督学习路线，也降低了训练流程的复杂度。

意义与影响

DeepVoyager-VL 的价值不只在于提升某些多模态搜索结果，更在于重新定义视觉在搜索智能体中的位置。对复杂现实任务来说，图像常常不是问题的附属材料，而是能够改变检索方向的证据：一张现场照片可能提示地点，一张截图可能暴露时间线，一张商品图可能决定接下来应该查哪个型号。若模型只能“看完再答”，就很难形成真正的调查式推理。

这项工作也反映出多模态智能体发展的一个趋势：能力竞争不再只是单次识图准确率，而是长程任务中的信息调度能力。智能体需要判断什么时候搜索文本、什么时候请求图像、什么时候把视觉发现转成新的关键词，并在多轮互动中保持推理链稳定。

当然，素材中披露的信息主要来自论文摘要和项目页面索引，尚不足以判断其在不同任务类型上的边界、失败案例或成本表现。但从研究方向看，DeepVoyager-VL 为“多模态深度搜索”提供了一个清晰框架：让视觉证据持续参与，而不是被动等待回答阶段。这对未来的研究助手、调查型搜索、图文资料分析和开放世界问答都有参考意义。

来源：Hugging Face Daily Papers