工具会变化，智能体能否跟上？Δτ-Bench重新定义适应性评测

导语

许多智能体基准默认工具箱是稳定的：接口存在、文档可查、过去有效的操作流程仍然有效。但真实的软件生态并非如此。服务会下线，工具会被替换，多个服务可能提供相似能力，文档也可能不完整或带有噪声。对依赖长期记忆和固定工作流的智能体而言，真正的难题不是“会不会用工具”，而是“工具变了以后能不能继续完成任务”。

核心要点

• 把环境变化纳入基准设计。 Δτ-Bench是一个可执行的智能体评测基准，模拟大型工具生态的结构性演化。它包含42个领域的1588个经过验证的多轮任务，并设置六个连续的生态状态。
• 考察移动中的能力边界。 在不同状态之间，熟悉工具可能消失或被替换，也可能出现功能重叠但效率更高的新选项。智能体需要主动发现新的工具使用路径，而不是机械复用旧流程。
• 同时检验适应与知识更新。 评测不仅关注一次任务是否成功，还关注智能体能否及时修订积累的程序性知识，以及在工作流被打断后恢复执行。
• 现有方法的收益并不稳定。 论文报告称，最强的被测模型或执行框架任务成功率仅为42.3%。一些技能学习方法虽然能带来初期提升，但这些收益未必能持续转化为面对生态变化时的适应能力。

Steward的思路

基于上述观察，论文提出生态管理器Steward。它不把工具管理和技能记忆视为彼此独立的模块，而是通过增量式技能维护与任务执行过程中的动态配置，协同处理二者。当旧工具失效时，系统可以帮助工作流恢复；当生态中出现更高效的替代方案时，也能推动智能体采用新的路径。根据论文摘要，Steward在生态变化下保持了更高的任务成功率，同时降低了技能维护开销，并改善了工作流恢复和高效替代方案的采用。

意义与影响

Δτ-Bench的价值在于改变了智能体评测的参照系。传统测试往往衡量模型在相对静态环境中的规划、调用和记忆能力，而该基准把“环境会变化”设为基本前提。这一视角更接近真实的工具链、企业服务和开放软件生态，也提醒开发者：一次成功的流程并不等于可长期复用的能力。

对智能体系统而言，未来的关键指标可能包括工具发现速度、失效恢复能力、技能更新成本，以及是否能识别并采用更优方案。对评测研究而言，持续演化的环境则提供了检验“会学习”与“能适应”差别的路径。

来源：Hugging Face Daily Papers