让编码智能体自己改进：Self-HPO把Harness与策略交替优化

导语

编码智能体的表现，通常被归因于基础模型本身。但在真实软件工程任务中，模型如何读取仓库、调用工具、运行测试、处理错误反馈，同样会决定最终结果。这套连接模型与环境的机制通常被称为Harness。微软研究院等团队提出的Self-HPO，正是围绕这一点展开：不要只升级模型，也不要把Harness当作固定脚手架，而是让二者协同进化。

核心方法：两步循环

Self-HPO将改进过程拆成两个交替进行的环节。

• H步骤：搜索Harness。 当前策略模型先回顾自己的失败案例，分析失败模式，并提出新的Harness候选方案。搜索重点不是泛化地调整所有配置，而是针对模型当前最容易出错的任务。
• P步骤：优化策略。 在筛选出的Harness下，通过强化学习更新策略模型，使其学习更有效的工具使用和问题解决轨迹。
• 形成下一轮数据。 训练过程中最难处理的任务会被保留下来，作为下一轮Harness搜索集合。这样，Harness的优化对象会随着策略变化而变化，而不是长期服务于一个已经过时的模型版本。

这一设计回应了传统流程中的两个错配问题：为旧模型调好的Harness，未必适合更新后的模型；固定Harness产生的轨迹，也会限制策略学习能够看到的行为范围。

实验结果与观察

在SWE-Bench Verified、SWE-Bench Multilingual和SWE-Bench Pro三个代码基准上，Self-HPO优于只优化Harness或只优化策略的基线。以Qwen3.5-35B-A3B为例，平均解决率由57.8%提高到64.8%，而且收益能够延伸到分布外设置。研究还发现，单独优化后的Harness与策略分别搭配基础组件时仍能保留部分收益，但两者组合后的提升超过各自收益的简单相加，说明它们之间存在协同效应。

除了平均解决率，Self-HPO还改善了Pass@1这一更接近单次可靠性的指标，并扩大了Pass@k所反映的能力边界。框架并不要求外部模型参与自我改进；不过，研究也报告称，如果使用更强的外部模型，例如Opus 4.8，来提出Harness候选方案，表现还可以进一步提升。

意义与局限

Self-HPO的重要性在于，它把编码智能体的“工作流”提升为可学习对象。过去，Harness往往由工程师手工设计，策略模型则在固定交互环境中训练；Self-HPO尝试让模型的失败反馈直接参与环境设计，再反过来影响模型训练。这为构建能够持续适应新任务、新工具和新失败模式的智能体提供了路径。

不过，材料尚未说明不同优化轮次的成本、强化学习的具体配置，以及方法在更大规模工程仓库中的稳定性。因此，Self-HPO更像是一个有实验支持的协同优化框架，而不是已经解决编码智能体持续学习问题的通用方案。其后续价值，将取决于搜索成本、评测可靠性和长期迭代是否会引入新的偏差。

来源：Hugging Face Daily Papers