返回文章列表
AI 智能体

OpenMobile-2:用开放环境和原生工具推进移动智能体

阅读约 2 分钟

导语

移动智能体要真正完成“帮我订票、整理信息、跨应用处理事务”等任务,难点并不只在模型本身。应用数量、任务长短、状态重置、结果验证和训练数据质量,都会直接影响智能体能否从演示走向可靠使用。OpenMobile-2 的工作重点,正是把这些基础设施以较开放的方式组合起来。

核心要点

  • 构建可扩展的移动环境。 项目推出 MobileGym++,包含 35 款功能较丰富、面向商业应用场景设计的模拟应用。这些应用支持跨应用工作流,同时保留环境重置和结果验证能力,便于批量生成训练任务并开展强化学习。结合配置好的安卓模拟器应用,整个开放训练空间覆盖 110 多款应用。
  • 扩大训练数据规模。 研究团队整理了近 1.2 万条移动交互轨迹,用于监督微调;同时提供超过 2000 个可执行任务组成的可验证强化学习数据集,并通过自动奖励判断任务是否完成。这种数据设计有助于减少移动操作训练中依赖人工检查的问题。
  • 探索 GUI 与原生工具混合使用。 在传统点击、滑动、输入等 GUI 操作之外,应用可以暴露部分经过限定的原生工具。智能体能够在同一任务中交替使用界面和工具调用,既保留视觉交互的通用性,也能在适合的步骤中提高执行效率。MobileGym++ 已在 50 多款应用中实现 300 多个工具。
  • 补充更贴近真实场景的评测。 MobileGym++ Bench 面向复杂、长流程的商业应用任务,并支持 GUI-only 与 GUI 加工具两种模式在同一任务集上比较。

结果与意义

OpenMobile-2 在 AndroidWorld 上取得 79.9 分,在 MobileWorld 上取得 50.4 分;在 SPA-Bench 的真实设备移动任务上,成绩从 31.9 提升至 59.6,接近翻倍。上述结果表明,规模化环境、可验证数据与更灵活的操作接口,可能比单纯扩大模型规模更直接地改善移动智能体的任务完成能力。

更重要的是,OpenMobile-2 将环境、训练配方、数据和评测纳入同一套开放框架,降低了研究者复现实验和构建新任务的门槛。应用原生工具也提供了一个值得继续研究的方向:智能体不必在“纯视觉操作”和“纯 API 调用”之间二选一,而是根据任务阶段选择合适的行动方式。当然,模拟商业应用与真实应用之间仍存在差异,工具权限边界、跨应用状态变化和长程任务中的错误累积,仍需要在更广泛的真实设备测试中验证。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章