从失败轨迹中学习：AED扩展至5万组智能体错误诊断数据

导语

对LLM智能体而言，一次失败并不只意味着最终奖励为零。模型在失败前看到了什么、采取了哪些动作、环境如何反馈，往往包含比单一结果更有价值的训练信息。问题在于，如何从一条失败轨迹中定位真正需要修改的决策，并验证一个具体的替代动作是否有效。

研究团队提出Agent Error Dataset（AED），将失败经历整理为面向诊断和后训练的数据资源。数据集包含50,228组错误—诊断对，来源于9,961个任务，覆盖33个文本环境、19类运行框架以及23个策略模型。研究不仅保存诊断文本，也保留源轨迹和执行元数据，使研究者能够在不重复原始运行的情况下进行跨环境分析和重新诊断。

核心方法

AED背后的Agentic Error-to-Training（AET）流程大致分为五个环节：首先收集真实发生的智能体失败；随后根据观察、动作和环境响应生成失败诊断与候选修正；再将这些判断与已有证据进行核对。对于支持重放的环境，研究者从同一决策检查点出发，在匹配的执行设置下比较候选修正与原动作的结果。最后，数据被拆分为诊断训练视图和行动恢复训练视图。

这种设计有别于只保留成功轨迹或最终奖励的训练方式。它把错误定位与行动改正区分开来：模型既要学会解释哪里出了问题，也要学会下一步应该采取什么不同动作。

主要结果

• 在3,062组匹配重放对比中，首次提出的修正方案将验证器通过率从18.4%提高到51.1%，提升32.7个百分点。
• 在独立冻结的诊断数据版本上，使用1,656个源任务对Qwen3-8B进行完整诊断微调后，模型在943个留出样本上的精确步骤一致率由47.2%升至63.6%。该结果为三个随机种子的平均值；对比中最强的提示式参考方法得分为54.7%。
• 随着训练集规模在四个阶段扩大，平均一致率均持续改善。
• 在一次单种子行动训练比较中，基于行动修复的训练方案在WebShop-lite上的得分比仅使用成功样本的方案高6.67个百分点。

意义与限制

AED的价值不只是规模。它尝试建立一条从失败、诊断、候选动作到执行验证的闭环，让错误样本不再只是负面标签，而成为可检查、可复用的学习信号。对于需要连续决策的浏览、工具调用和文本环境任务，这种数据形态可能比简单的成功/失败标记更适合训练错误感知型智能体。

同时，现有结果应按实验范围理解。部分分析依赖支持重放的环境，诊断一致率使用论文内部教师标签衡量，行动训练的WebShop-lite比较还是单随机种子结果。因此，AED能否稳定迁移到未见环境、更长任务链和不同类型的工具系统，仍需要进一步验证。总体而言，这项工作把智能体后训练的关注点从如何收集更多成功案例，推进到如何系统地理解并修复失败。

来源：Hugging Face Daily Papers