智能体进化不只是分数上涨:一项研究揭示可靠性、成本与迁移的隐藏代价
导语:分数上涨,不等于智能体变强
当智能体能够通过修改提示词、工具调用流程或外部框架实现“递归式自我改进”时,模型权重并没有改变,但系统表现可能持续变化。问题在于,单次基准测试中的分数上涨,是否代表智能体更可靠、更高效,也能在新任务上复用?来自中国科学技术大学等机构的研究,正是对这一常见判断标准的反思。
研究看了什么
论文围绕智能体进化的三个层面展开:实际表现如何变化、改进能否泛化,以及哪些进化机制真正发挥作用。研究者在不同智能体框架、通用任务和编码任务上评估了四种方法,并通过重复测试、受控扩展、组件干预和准入决策回放,拆解进化流程中的四个环节:
- Select:从候选方案中选择哪些变化继续尝试;
- Analyze:判断失败或成功的原因;
- Mutate:生成提示、策略或框架层面的修改;
- Gate:决定哪些改动进入下一轮系统。
这种设计避免把最终分数当作唯一证据,而是追踪每次变化带来的收益与损失。
关键发现:能力会重新分配
最值得注意的结果是,16个进化后的智能体全部获得了此前无法完成的新任务,但同时也失去了此前能够完成的一些任务。某个通用任务案例中,可靠性提升了5.2个百分点,却丢失了10个原本覆盖的任务。这说明“平均分变高”可能掩盖能力覆盖面的收缩:系统不是单纯变强,而是在不同任务之间重新分配能力。
可靠性改善还往往伴随部署成本增加。具体、针对性强的修改通常优于笼统提醒,但一个改动单独有效,并不意味着它与其他改动组合后仍然有效。研究还发现,得分最高的智能体,在四个评估池中都没有取得最大的平均提升;如果准入规则过于严格,也可能把有价值的替代方案直接淘汰。
泛化并非自动发生
进化结果迁移到新任务时,表现呈现明显差异。在通用任务目标上,无论采用哪类框架或进化范式,覆盖率通常会下降;而在编码任务目标上,使用仅作用于外层的框架时,覆盖率反而可能上升。换言之,某种进化策略是否有效,取决于任务类型、框架结构以及改动作用的位置,不能简单概括为“进化后就更通用”。
对智能体研发的启示
这项工作提示,智能体评估需要从单一排行榜转向多维度审计。除了新任务成功率,还应记录旧能力是否保留、重复运行是否稳定、部署成本是否可接受,以及改进能否迁移到目标场景。准入规则也应由测试过的决策依据支持,并明确每项改动的适用条件。
作为建设性的后续方案,EvoAudit 将这些诊断结果用于改造选择、分析、变异和准入流程,并取得了最佳表现。它的价值不在于承诺智能体会无条件自我增强,而在于让进化过程更可观察、更可比较,也更少依赖一次偶然的基准分数。
评论
正在确认登录状态……
正在加载评论……