MAI-Gym：把 GUI 智能体评测、数据生成与强化学习整合起来

导语

GUI 智能体要真正完成手机或电脑上的任务，不能只生成文本，还必须持续观察界面、选择操作、处理状态变化，并在结果正确时获得可靠反馈。相比数学或代码任务，GUI 环境通常需要启动真实应用、维护交互状态并处理复杂的视觉变化，因此在线强化学习很难低成本扩展。阿里巴巴 Tongyi-MAI 团队推出的 MAI-Gym，试图从基础设施、任务生成和训练流程三方面解决这一问题。

一个统一的 GUI 智能体工作台

MAI-Gym 将评测、数据采集和在线强化学习放在同一套 rollout 管线中。智能体在评测和训练时使用一致的执行流程，有助于减少“训练环境一套逻辑、测试环境另一套逻辑”带来的偏差。平台覆盖移动端、计算机和 Web 环境，支持十个既有基准，并可扩展到最多 20,000 个并行环境实例。

这套设计的重点不只是并行运行环境，还包括可重复的任务构造。平台能够自动合成可重置的模拟应用、跨应用任务和基于代码的执行验证器。发布内容包括 49 个模拟应用、2,000 个经过执行验证的任务，以及可复用的应用和任务合成技能。验证器直接检查任务是否完成，为在线强化学习提供了比人工判断更明确的奖励信号。

训练结果与迁移实验

研究团队基于 MAI-Gym 训练了 MAI-Gym-9B，一个同时面向移动端和计算机使用的 9B 参数 GUI 智能体。在开源、参数量低于 10B 的 GUI 智能体中，该模型在 MobileWorld 上达到 78.4%，在 OSWorld-Verified 上达到 76.2%。这些结果说明，统一训练环境和跨设备任务设置，可能有助于提升模型的通用操作能力。

更值得关注的是模拟环境到真实设备的迁移结果。研究人员在模拟火车票应用中进行强化学习训练，再将能力用于对应的真实应用和实体手机，任务成功率从 28.8% 提升到 48.1%。这并不意味着模拟环境能够完全替代真实设备，但表明经过合理设计的模拟任务可以提供有用的预训练和强化学习信号。

意义与局限

MAI-Gym 的价值在于把 GUI 智能体研究中彼此分散的环节连接起来：环境运行、任务生成、结果验证、基准评测和在线训练可以在同一框架内完成。开放发布框架、模拟应用、任务、合成技能和模型权重，也为复现实验和比较不同方法提供了基础。

不过，平台成绩仍应结合具体基准和环境理解。模拟应用的状态空间、验证规则与真实软件之间可能存在差异，跨应用任务的复杂度也未必代表所有现实工作流。后续研究仍需要检验模型在更多真实设备、动态界面和未见任务上的稳定性。总体而言，MAI-Gym 展示了一条更系统的 GUI 智能体扩展路径：用可重置环境降低交互成本，用可执行验证器提高奖励可靠性，再通过统一管线连接训练与评测。

来源：Hugging Face Daily Papers