Agent 优化能否持续叠加？Terminal-Bench 2.0 给出更严苛答案

导语

Agent 优化方法常被用一组固定基准来证明“提分有效”：先在任务集上调整提示、工具调用或执行框架，再报告通过率提升。但真实部署环境并不是一次考试。Agent 会不断遇到新失败、新需求和新任务，开发者也会反复把这些案例纳入优化流程。于是，一个更关键的问题出现了：第一次优化带来的收益，能否在第二次、第三次优化中继续叠加，而不是被新优化冲掉？

这篇 arXiv 论文围绕 Terminal-Bench 2.0 中的困难任务，设计了一个两阶段持续学习评测，用同等优化预算比较 GEPA、Meta Harness 和 RELAI 的 Verifiable Continual Learning（RELAI-VCL）。研究焦点不是单次排行榜成绩，而是 Agent 优化在任务分布变化后的“复利能力”。

核心要点

• 静态评测并不足够。 论文指出，传统单阶段评测只能说明某种优化器能在固定任务上改进 Agent，却不能说明它在后续新增任务中仍然可靠。
• 三种方法一开始都有效。 在常规的静态、单阶段设置中，GEPA、Meta Harness 和 RELAI-VCL 都能让基线 Agent 获得提升。
• 新任务暴露出分化。 当第二阶段引入新任务后，GEPA 优化后的 Agent 迁移表现低于未优化基线；Meta Harness 对未见任务迁移较好，但在获得第二轮优化预算后没有继续提高；RELAI-VCL 则同时实现正向迁移和后续增益。
• 终身平均表现差距明显。 论文报告 RELAI-VCL 的终身平均通过率为 76.4%，高于 GEPA 的 66.0%、Meta Harness 的 64.6% 和基线的 58.7%。
• 关键机制是回归控制。 作者的主要观察是，只有当优化循环内置防止旧能力退化的约束时，优化收益才更可能复合增长，避免学到只适合当前任务的捷径。

意义与影响

这项工作提醒我们，Agent 优化不应只看“这次 benchmark 涨了多少”，还要看“下一批任务来了以后是否还能保住旧收益”。对于实际部署的编码 Agent、终端 Agent 或自动化工作流系统，持续优化几乎不可避免。如果每次调优都会牺牲一部分旧能力，短期提分可能反而带来长期维护成本。

论文也把评测重点从静态能力转向生命周期表现：一个更强的 Agent 优化器，应该能在新任务上迁移、在旧任务上不倒退，并在合并新旧目标后继续进步。按照这篇技术报告的结果，RELAI-VCL 在这三点上表现最好，而“回归控制”可能成为未来 Agent 优化框架的重要设计原则。

当然，该研究基于 Terminal-Bench 2.0 的特定困难任务和两阶段设置，结论仍需要更多任务类型与更长周期验证。但它提出的评测视角很重要：Agent 的真正考验，不是一次性变强，而是在不断变化的环境中持续变强。

来源：arXiv