长程智能体做了什么：用证据图谱重构人类监督

导语：人类正在失去对执行过程的把握

AI 智能体的任务边界，正在从回答问题和调用单个工具，扩展到软件开发、数据分析与科研等持续数小时乃至数天的工作流。它们会自行规划、修改代码、调用工具，并根据中间结果调整策略。任务越长，用户越难通过浏览完整日志来确认智能体究竟做了什么。

问题不只是智能体是否出错。用户需求往往存在未明确的细节，智能体可能自行补全假设；它也可能在执行中悄然改变计划或实现，即使测试通过，最终行为仍可能偏离原始要求。此外，数据筛选、评价指标或实验设置等看似合理的选择，可能显著影响结论，却没有经过用户确认。

研究关注什么

论文《What Did the Agent Actually Do? Evidence-Grounded Oversight for Long-Horizon Agents》将监督问题拆成两个相互补充的方向：

• 需求与行为是否一致：识别需求含糊、实现偏移等需要澄清或复核的情况。
• 重大决策是否被发现并验证：找出智能体执行过程中具有后续影响的自主决定，并提供足够证据，让用户判断是否接受。

为此，研究者构建了 AgentMonBench。该基准包含 SpecGAP、SilentSwap 和 FeedbackTrace 三个子集，用于评估模型识别关键决策以及定位相关证据的能力。它关注的不是让模型简单总结轨迹，而是检验模型能否把行为、任务要求和证据联系起来。

EBG 如何工作

研究提出的 Evidence-Grounded Behavior Graph（EBG）是一种无需训练的方法。它把仓库文件、对话、工具调用和执行产物中的来源关联证据，整理为行为节点及其关系，再根据任务需求生成面向监督的视图。这样，监督模型不必在一条冗长、碎片化的上下文中搜索，而可以沿着行为关系回溯到原始证据。

EBG 还被接入 Codex Harness，在执行前、发生重要执行变化后以及最终报告前设置监督检查点。用户可以先澄清目标，再审核行为变化，最后依据证据验证结果，而不必参与每一个低层操作。

意义与局限

论文在八个模型上的实验显示，EBG 在多数设置下改善了关键决策识别和证据定位；研究还报告称，这种证据定位优势在不同输入规模和超参数设置下仍能保持。真实研究工作流案例则展示了它如何辅助用户确认决定，并指导智能体后续执行。

这项工作的价值在于把“可解释性”从模型内部机制，扩展到长程行为审计：监督系统需要回答的，不只是智能体为什么这样推理，还包括它实际采取了哪些行动、哪些决定改变了结果，以及我们能否用原始证据验证这些决定。未来，人类监督可能不再是逐步陪跑，而是获得在关键时刻理解、确认和干预所需的可靠信息。

来源：Hugging Face Daily Papers