返回文章列表
AI 智能体

智能体进化不只是分数上涨:一项研究揭示可靠性、成本与迁移的隐藏代价

阅读约 3 分钟

导语:分数上涨,不等于智能体变强

当智能体能够通过修改提示词、工具调用流程或外部框架实现“递归式自我改进”时,模型权重并没有改变,但系统表现可能持续变化。问题在于,单次基准测试中的分数上涨,是否代表智能体更可靠、更高效,也能在新任务上复用?来自中国科学技术大学等机构的研究,正是对这一常见判断标准的反思。

研究看了什么

论文围绕智能体进化的三个层面展开:实际表现如何变化、改进能否泛化,以及哪些进化机制真正发挥作用。研究者在不同智能体框架、通用任务和编码任务上评估了四种方法,并通过重复测试、受控扩展、组件干预和准入决策回放,拆解进化流程中的四个环节:

  • Select:从候选方案中选择哪些变化继续尝试;
  • Analyze:判断失败或成功的原因;
  • Mutate:生成提示、策略或框架层面的修改;
  • Gate:决定哪些改动进入下一轮系统。

这种设计避免把最终分数当作唯一证据,而是追踪每次变化带来的收益与损失。

关键发现:能力会重新分配

最值得注意的结果是,16个进化后的智能体全部获得了此前无法完成的新任务,但同时也失去了此前能够完成的一些任务。某个通用任务案例中,可靠性提升了5.2个百分点,却丢失了10个原本覆盖的任务。这说明“平均分变高”可能掩盖能力覆盖面的收缩:系统不是单纯变强,而是在不同任务之间重新分配能力。

可靠性改善还往往伴随部署成本增加。具体、针对性强的修改通常优于笼统提醒,但一个改动单独有效,并不意味着它与其他改动组合后仍然有效。研究还发现,得分最高的智能体,在四个评估池中都没有取得最大的平均提升;如果准入规则过于严格,也可能把有价值的替代方案直接淘汰。

泛化并非自动发生

进化结果迁移到新任务时,表现呈现明显差异。在通用任务目标上,无论采用哪类框架或进化范式,覆盖率通常会下降;而在编码任务目标上,使用仅作用于外层的框架时,覆盖率反而可能上升。换言之,某种进化策略是否有效,取决于任务类型、框架结构以及改动作用的位置,不能简单概括为“进化后就更通用”。

对智能体研发的启示

这项工作提示,智能体评估需要从单一排行榜转向多维度审计。除了新任务成功率,还应记录旧能力是否保留、重复运行是否稳定、部署成本是否可接受,以及改进能否迁移到目标场景。准入规则也应由测试过的决策依据支持,并明确每项改动的适用条件。

作为建设性的后续方案,EvoAudit 将这些诊断结果用于改造选择、分析、变异和准入流程,并取得了最佳表现。它的价值不在于承诺智能体会无条件自我增强,而在于让进化过程更可观察、更可比较,也更少依赖一次偶然的基准分数。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
从“能调用”到“会应用”:Agent-Native Primitives补上智能体落地的最后一公里
AI 智能体
cctest.ai
AI 智能体

从“能调用”到“会应用”:Agent-Native Primitives补上智能体落地的最后一公里

一篇新研究提出 Agent-Native Primitives,将工具、代码和知识资源与具备专门能力的语言模型绑定,并由 HEELO 按任务动态组装智能体工作流。作者报告称,该方法在多项基准和真实任务中显著提升了端到端完成率。

阅读全文