AutoEnvScaling：让终端智能体自己制造训练环境

导语

终端智能体可以通过命令行操作软件、处理工程任务，甚至开展部分科学研究。但要让这类模型通过强化学习持续进步，首先需要大量任务环境：环境不仅要有明确目标，还必须配套可执行的容器、解决方案和测试程序，确保模型的表现能够被可靠评估。现实问题在于，这些环境长期依赖研究人员手工设计，数据飞轮因此受到人力和时间限制。

AutoEnvScaling 的切入点，是把“设计训练环境”本身也变成一个终端任务。

核心做法

• 让 proposer 负责造环境。 proposer 智能体根据正在训练的 solver 的执行轨迹，创建完整的 Harbor 任务，包括 Docker 镜像、任务说明、参考解决方案和测试。
• 让智能体先自行调试。 新任务不是生成后直接进入训练流程，而是由 proposer 像研究人员一样在终端中运行、检查和修复，尽量排除无法执行或无法验证的环境。
• 形成循环反馈。 solver 在新环境中的表现和失败轨迹，会成为下一轮环境生成的依据。环境不再是静态数据集，而是随着模型能力持续变化。
• 探索双角色自我改进。 在更进一步的设置中，同一个模型既充当环境构建者，也充当任务求解者，从而尝试建立不依赖人工逐题编写的递归自我改进流程。

结果与解读

论文摘要报告称，与仅依靠提示词生成环境相比，AutoEnvScaling 的有效环境比例最高提升 25 倍，单个有效环境的成本最高降低 75%。在一组实验中，使用 GPT-5.6-sol 生成的环境训练 Qwen3.5-35B-A3B 后，Terminal-Bench 2.1 得分较匹配的 Tmax 基线提高 4.3 分。另一组让 Qwen3.6-35B-A3B 同时承担 proposer 和 solver 角色的实验中，Terminal-Bench 2.1 提升 12.2 分，Terminal-Bench 4.0 得分从 1.6 上升到 3.2。

这些结果的关键价值不只是分数变化，而是展示了训练数据生产环节的自动化可能性。对于终端智能体而言，困难往往来自环境中的隐性状态、依赖安装、工具调用和结果验证。让生成器能够实际运行并调试任务，理论上比单纯要求模型“写出一个任务描述”更接近真实的数据工程流程。

意义与局限

AutoEnvScaling 还被用于软件工程、计算机操作、专业工作和 GPU 内核编程等代理场景，说明其设计思路并不局限于单一编码基准。不过，自动生成环境也带来新的质量风险：生成器可能偏向重复熟悉的任务，测试可能存在漏洞，环境难度也可能与 solver 的真实能力脱节。因此，有效环境比例和基准分数之外，环境多样性、测试可靠性以及对未见任务的迁移能力，仍需要持续评估。

总体而言，这项工作把强化学习中的“数据瓶颈”重新表述为一个可由终端智能体执行的工程问题。若环境构建和任务求解能够稳定互相促进，智能体训练就可能从人工扩充题库，逐步转向自动化、反馈驱动的环境演化。

来源：Hugging Face Daily Papers