ProgramGym：让编程智能体学会从零复现完整程序

导语

编程智能体正在从“修改现有代码”走向“像软件工程师一样从零构建程序”。这类任务的难点不只是写出能编译的代码，还包括理解一个参考程序的行为、推断隐含需求、选择系统设计，并在较长开发周期中持续调试。然而，现有训练数据和评测环境往往更适合补丁生成或根据明确需求创建仓库，难以系统训练智能体复现一个陌生程序。

ProgramGym 针对这一缺口提出了由 Program-Env 和 Program-Agent 组成的框架。论文重点不是单纯扩大模型规模，而是尝试把“环境如何构建”和“智能体如何完成长期开发”同时工程化。

核心要点

• 用反馈循环构建训练环境。 Program-Env 从代码仓库出发，生成运行沙箱和黑盒测试，再通过反馈循环修复沙箱构建问题、检查测试质量，使环境最终具备可验证性。
• 覆盖多种系统编程语言。 该流程构建了 1,648 个训练环境，涉及 C、C++、Go 和 Rust。这样的语言范围使任务更接近真实软件工程中的系统开发场景。
• 让智能体先分析再实现。 Program-Agent 将工作拆分为分析、实现和审查等相互隔离的角色，强调先探索参考程序，再进入编码阶段，而不是一开始就直接生成代码。
• 引入修订与恢复机制。 工作流包含编译检查、版本修订和失败恢复环节，帮助智能体在长任务中处理构建失败，并根据反馈持续修改实现。
• 训练与推理流程均有收益。 在 ProgramBench 上，使用这些环境产生的轨迹微调 Qwen3.8-27B 后，表现从 34.87% 提升到 42.84%。Program-Agent 还将基础模型和 SFT 模型的表现分别提升到 55.71% 和 56.25%。这些结果在论文设定下超过了部分旗舰模型。

为什么重要

ProgramGym 的价值在于，它把程序复现看成一个需要观察、推理、设计、实现和验证的长期过程，而不是一次性的代码补全问题。对于训练 coding agent 来说，可靠的自动验证环境与高质量轨迹同样重要：如果测试过于简单，模型可能学会投机；如果沙箱无法稳定运行，反馈又无法指导后续修订。Program-Env 的反馈式构建流程，正是试图解决这两个基础问题。

从研究角度看，该框架也为比较不同智能体工作流提供了统一载体。角色隔离、编译检查和失败恢复等机制，可能帮助研究者进一步分析长周期开发中的错误来源。不过，当前素材主要提供了论文摘要信息，尚不足以判断黑盒测试的具体生成方式、1,648 个环境的任务分布，以及模型在不同语言和任务难度上的表现。因此，相关成绩应理解为论文报告的总体结果，仍需结合完整论文和公开代码复核。

如果 ProgramGym 能被持续扩展，它可能推动编程智能体评测从“能否解决一个局部问题”转向“能否在不完整信息下完成可运行的软件复现”。这将更贴近真实开发，也会对环境构建、自动测试和长上下文规划提出更高要求。

来源：Hugging Face Daily Papers