主动式智能体不该越帮越忙：HALO揭示评测新盲区

导语

当用户没有明确提出请求时，智能体是否应该主动提供帮助？这个问题看似简单，实际包含多个连续判断：是否真的存在需要、现在是不是合适时机，以及帮助应当做到什么程度。传统评测往往只看任务是否完成，或给出简单的通过/失败结论，难以解释智能体为什么被人类拒绝。

论文《HALO: Human-Grounded Granular Evaluation of Proactive Agents》提出了一套面向主动式智能体的人工评测方法，试图把“主动帮助”从一个模糊能力拆解为可观察、可诊断的行为。

核心要点

• 覆盖四类主动需求。 HALO-Arena将场景归纳为依赖、阻塞、风险和机会四种类型，覆盖10个日常领域与50种个人环境。
• 把证据获取纳入考察。 场景要求模型从结构化数据库或非结构化文档中检索信息，再判断是否需要介入以及介入范围，而不是只根据表面提示作答。
• 采用细粒度人工标注。 研究构建了HALO-8K，包含10个模型在400个场景中的8000条回答，由20名专家评估行动等级、可接受性，并进一步诊断被拒回答的问题。
• 同时记录努力成本。 推理 token 数和检索轮次被纳入记录，用来观察模型为形成主动决策付出了多少计算与检索 effort。
• 过度主动是主要短板。 最佳专有模型的可接受率为72.88%，最佳开源模型为56.63%。在被拒回答中，过早行动或干预强度过大占61.20%，说明“主动”并不等于“越积极越好”。

意义与影响

HALO最值得注意的地方，是它将主动式智能体的评价重点从“有没有做事”推进到“是否在正确时机，以合适力度做正确的事”。例如，模型可能已经找到了相关证据，却在用户尚未需要时提前采取行动；也可能判断方向基本正确，但一次性提出过多建议，超出了用户能够接受的范围。只看最终任务结果，很难区分这些失败模式。

这项工作也提示，未来的智能体评测需要同时关注介入与克制。证据检索能力固然重要，但检索得越多、推理得越久，并不必然带来更好的帮助。模型还需要把证据强度、用户情境、时机和行动幅度结合起来，形成更准确的干预校准。

从应用角度看，HALO提供了一种更贴近真实使用的测试思路：在部署能够主动提醒、规划或执行任务的系统前，不仅要问它能否发现问题，还要问它是否会制造新的打扰。对未来的训练和安全机制而言，减少过早介入与过度干预，可能与提升任务完成率同样重要。

来源：Hugging Face Daily Papers