Beacon：让多模态智能体学会“该不该用工具”

导语

多模态大语言模型正在从“看图回答”走向更复杂的智能体式视觉推理：模型不仅要理解图像和文本，还可能调用外部视觉工具、执行中间步骤，再给出答案。但这篇名为 Beacon: Knowing When and How to Perform Agentic Visual Reasoning 的论文提醒我们，一个真正有价值的视觉智能体，不应只是“会用工具”，更要知道“什么时候该用、什么时候不该用”。

核心要点

• 重新定义工具使用的价值：作者认为，智能体式视觉推理的目标是提升复杂任务成功率，而不是堆叠一个复杂但低效的推理流程。工具调用如果不能稳定提升结果，甚至可能成为负担。
• Mode Adaptiveness（模式自适应）：这一指标关注模型能否判断任务是否真的需要工具。理想状态下，简单问题应尽量直接解决，只有在视觉细节、空间关系或复杂推理超出模型直接能力时才调用工具。
• Tool Effect（工具效果）：这一维度衡量工具调用带来的真实收益。工具应在模型仅靠文本或内部推理无法解决的问题上扩展能力，同时避免在本来能答对的简单样本上制造新错误。
• 对现有方法的观察：论文指出，当前许多智能体视觉推理模型的模式自适应能力有限；工具在困难样本上的收益，常被其在简单样本上引入的错误抵消。
• Beacon 的训练思路：Beacon 在强化学习阶段引入 Necessity-Aware Adaptive Reward，鼓励模型根据任务必要性决定是否调用工具；同时通过 Hint-Guided Capability Expansion，强化模型在最具挑战性问题上的工具使用能力。

意义与影响

这项工作的重要性在于，它把多模态智能体的讨论从“工具越多越强”拉回到“工具是否真正改善决策”。在实际应用中，工具调用通常意味着更高延迟、更多计算成本，以及更复杂的错误链路。如果模型无法区分简单题和难题，那么所谓的 agentic reasoning 可能只是把推理过程变得更昂贵。

Beacon 提出的两个评估维度，为后续研究提供了更清晰的诊断框架：一个系统不仅要在总分上更高，还要解释分数来自哪里——是困难样本真的被解决了，还是简单样本被不必要的流程拖累了。对于视觉问答、空间推理、文档理解和多工具视觉代理等方向，这种“必要时才行动”的能力可能比单纯增加工具数量更关键。

总体来看，Beacon 代表了一种更务实的智能体路线：让模型学会克制，也学会在关键时刻调用外部能力。未来多模态智能体的竞争，可能不只是推理链有多长，而是能否以更低成本做出更可靠的工具决策。

来源：Hugging Face Daily Papers