Harness 进化的收益，究竟有多少是真正的能力提升？

导语

不更新模型参数，也能让智能体表现变好——这是 harness evolution（智能体框架进化）受到关注的原因。它围绕一个固定权重的执行模型，自动调整提示词、技能、工具以及编排代码，并依据搜索集上的表现反复迭代。然而，基准分数上涨并不自动等于模型或智能体获得了更强的通用能力。

arXiv 论文《Harness-Delta Attribution: Dissecting Gains From Harness Evolution》提出 Harness-Delta Attribution（HDA），专门追问一次“进化收益”究竟来自哪里。研究团队将收益拆分为三部分：框架产物针对搜索集的过拟合、由测试时计算扩展带来的提升，以及无法由前两者解释的剩余部分。后者并不等同于已被证明的泛化能力，但可以被视为残余通用改进的上限。

核心发现

• 研究覆盖 11 个执行模型和 3 个 harness 进化框架，任务涉及数学、编程、创意和智能体场景。
• 在 21 个搜索集提升达到统计显著的设置中，过拟合平均解释了 54% 的收益，测试时扩展平均解释了 14%。
• 其中 14 个设置里，这两类因素合计占据超过一半的提升。
• 残余收益以及在留出任务上的迁移表现，会随任务、模型和框架明显变化。
• 搜索集上的进步经常无法转移到留出任务，对现实分布变化下能否持续也缺乏充分证据。

这里的关键并不是否定 harness 优化，而是改变“如何证明优化有效”的方式。一个更复杂的提示、更多工具调用或更长的推理流程，可能提高单次评测成绩，却同时带来更高的推理成本，或者只是在适应被反复搜索的基准。即使加入验证集，研究也认为现有验证信号仍不足以阻止过拟合。

意义与影响

HDA 为智能体系统提供了一种更细的收益归因视角。未来报告 harness 进化结果时，除了展示搜索集分数，还应说明额外计算量、留出任务表现，以及有多少提升可以由基准适配解释。对工程团队而言，这有助于区分“更会做这套测试”与“在更广泛任务上更可靠”之间的差别；对研究者而言，则提示评测设计不能只依赖单一基准或验证集。

这项工作并未证明所有 harness 进化都缺乏价值。它更谨慎地指出：如果没有归因分析，搜索集上的显著增益很容易被过度解读。将成本、迁移性和分布变化纳入同一评估框架，可能会成为下一阶段智能体优化研究的重要标准。

来源：arXiv