SoftwareGym：用合成软件环境扩大计算机使用智能体训练

导语

计算机使用智能体（CUA）要真正完成工作，不能只会识别按钮或执行单步点击，还需要理解界面结构、规划多步流程，并在出现异常时继续操作。问题在于，训练这类能力需要大量可交互、可验证且足够多样的软件环境，而传统环境的开发成本通常很高。

上海交通大学团队提出的 SoftwareGym，试图把“构建训练环境”变成一条自动化流水线。它不是简单地生成网页截图或模拟几种固定操作，而是生成能够运行的软件应用，让智能体通过真实 GUI 交互完成任务，并根据执行结果持续修复应用。

核心方法

SoftwareGym 的思路主要包含三个环节：

• 生成多样化设计：系统先生成具有不同界面结构和交互方式的软件设计，减少训练数据集中在单一应用范式上的风险。
• 实现可运行应用：设计随后被转化为具备实际功能的 GUI 软件环境，而不是停留在静态原型或浏览器页面层面。
• 运行时评估与修复：系统让 GUI 智能体执行任务，根据交互结果检查功能是否正常；如果发现问题，则进行迭代修复，以提高环境的可用性和可靠性。

团队利用这套流程合成了 182 个应用，覆盖 12 个类别，平均 GUI 任务通过率达到 91.5%。此外，研究还构建了 SoftwareGym-Bench，包含 120 项任务，覆盖同样的 12 个类别，用于评估智能体在合成环境中的表现。

训练效果与解读

研究人员从这些环境中收集操作轨迹，并将其用于 CUA 训练。结果显示，模型在严格的域外 OSWorld 基准上，Pass@3 从 41.39% 提升到 56.97%；在 SoftwareGym-Bench 上取得 40.0% 的成绩。由于 OSWorld 不属于 SoftwareGym 的训练环境，这一结果说明合成环境提供的监督信号并不完全局限于某个应用的界面细节，可能有助于学习更具迁移性的操作能力。

这项工作的价值首先在于扩大了训练环境的供给。相比手工集成大量原生应用，自动生成和验证软件可以更快覆盖不同类别；相比纯浏览器环境，具备真实 GUI 和可执行功能的应用也能承载更复杂的工作流。其次，运行时验证让“环境是否真的能完成任务”成为流水线的一部分，降低了训练数据中混入失效应用的风险。

不过，91.5% 的环境任务通过率并不意味着所有生成应用都足够接近真实生产软件，SoftwareGym-Bench 上 40.0% 的成绩也表明，智能体仍面临明显挑战。合成环境能否持续提升真实世界泛化能力，还需要更多跨平台、跨应用和长期交互测试来验证。总体而言，SoftwareGym 展示了一条有潜力的路径：通过规模化生成并严格筛选软件环境，为 GUI 智能体提供比静态数据更接近实际操作的训练信号。

来源：Hugging Face Daily Papers