智能体强化学习的新变量：让模型适应多种 Harness

导语

智能体的能力并不只取决于底层语言模型。模型如何调用工具、接收观测、管理上下文，以及在长流程中推进任务，往往由一套被称为 Harness 的执行框架决定。过去的智能体强化学习大多在单一固定 Harness 中训练，这可能让模型学会适应某种特定的提示、工具格式或工作流，却难以迁移到其他执行配置。

来自 RUC 团队的论文《Harness Scaling for Generalizable Agentic Reinforcement Learning》提出，Harness 本身应成为智能体强化学习中的一个新扩展维度。它所关注的不只是“模型处理了多少任务”，还包括“模型通过什么方式完成任务”。

核心方法

研究者将 Harness 空间拆解为五类因素：

• 系统提示词：规定智能体的角色、规则和行动策略；
• 工具接口：决定工具如何描述、调用和返回结果；
• 观测方式：控制模型能看到哪些环境信息，以及信息如何组织；
• 上下文管理：处理历史记录、压缩和长上下文保留；
• 工作流：规定任务执行中的步骤、循环与协调方式。

在此基础上，论文没有简单地把尽可能多的配置全部加入训练，而是构造因子化的 Harness 空间，再选取规模紧凑、组合覆盖较均衡的训练子集。跨 Harness 训练还会让同一任务在不同执行配置下呈现受控变化，从而避免模型只记住某个固定流程。

研究发现

论文在多个基准、不同模型规模和多种强化学习算法上进行验证。结果显示，Harness Scaling 能够稳定提升模型对未见过白盒配置的泛化能力。更值得注意的是，结构化的配置选择与具有局部性的训练组织，比单纯增加训练配置数量更有效。这意味着，Harness 多样性不是“越多越好”，关键在于不同变化是否覆盖了有意义的组合空间，以及训练过程是否保留了足够的任务关联。

研究还测试了从白盒 Harness 向外部黑盒 Harness 的迁移。经过多种白盒执行方式训练的模型，在未见过的外部 Harness（包括 Claude Code）上表现出较强迁移能力，并超过了直接在单一复杂黑盒 Harness 上进行强化学习的模型。素材未提供具体性能数值，但这一结果说明，训练阶段对执行机制进行结构化扰动，可能比针对某个封闭系统做深度适配更具普适性。

意义与影响

这项工作把智能体训练的“环境”概念从任务和工具集合进一步扩展到执行框架。对于研究者而言，未来评估智能体时，不应只报告任务成功率，也需要说明模型是否能适应不同的提示、接口、观测和上下文管理方式。对于系统开发者而言，构建多样化训练 Harness 可能是一种提高部署鲁棒性的路径，尤其适用于执行框架经常变化、底层模型需要跨平台运行的场景。

更广泛地看，Harness Scaling 提醒我们：智能体的泛化能力不仅来自更大的模型、更长的训练或更多任务，也来自对“如何行动”的系统化变化建模。如何设计更高效的配置采样、控制训练成本，并进一步理解白盒变化与黑盒迁移之间的关系，仍是这一方向需要继续回答的问题。

来源：Hugging Face Daily Papers