OpenVLHarness：让视觉模型用工具获取并记住证据

导语

多模态模型已经能够识别图像、回答视觉问题，但面对需要精确测量、外部事实或多步数据整合的任务时，仅依靠模型内部推理往往不够。UCLA 团队提出的 OpenVLHarness，尝试把模型从“只看图并作答”推进到“主动获取、检查和组合证据”。

核心要点

• 统一工具接口：框架在能力层封装任务级工具，为视觉感知、网页搜索等异构后端提供一致的访问方式。
• 证据渲染：工具返回的结果不会直接以难以处理的原始格式交给模型，而是被转换为更容易理解的模型可读观察。
• 持久化多模态记忆：图像、结构化数据和网页引用会在一次查询期间作为可寻址素材保留下来，供后续推理步骤反复调用。
• 代码驱动计算：模型可以通过编码接口，在已保存的数据上运行程序，把多个工具的结果放在一起计算和比较。

这一设计解决了工具增强推理中的两个常见断点：模型能否正确理解工具输出，以及早期获得的证据能否在后续步骤中继续使用。OpenVLHarness 因此形成了一个循环：模型先获取证据，再检查其内容，随后通过代码或其他工具进行组合，最后据此完成回答。整个过程无需重新训练基础模型。

实验结果与意义

研究团队在 22 个基准测试上评估了 8 个开放和专有模型。与匹配的无工具基线相比，OpenVLHarness 的平均成绩提升 9.7 至 12.6 分；在 Qwen3-VL-8B、Kimi K3 和 GPT-6 Astra 上，提升幅度分别为 11.2、9.7 和 9.9 分。摘要还显示，在中等推理强度下，GPT-6 Luna 使用该框架的表现超过高强度设置下的基础模型、Codex 和 Visual Sketchpad，得分高出 7.7 至 8.5 分，同时模型 token 成本最高仅为后者的 37%。

这些结果说明，多模态能力的瓶颈并不总是模型规模或思考 token 数量。对于需要测量、查证和跨来源整合的任务，工具接口的组织方式以及证据能否持续存在，同样会直接影响推理质量。OpenVLHarness 的价值也正在于此：它不是单一的新模型，而是一套让现有模型更稳定地使用外部能力和多模态记忆的基础设施。未来，工具可靠性、证据冲突处理和更长期的记忆管理，仍将是这类视觉智能体需要继续解决的问题。

来源：Hugging Face Daily Papers