Qwen-UI-Agent：面向真实设备的下一代 GUI 基座智能体

导语

GUI 智能体正在从“演示型自动点击工具”走向更接近通用数字执行器的形态。Hugging Face Daily Papers 收录的《Qwen-UI-Agent Technical Report》聚焦的正是这一方向：如何让一个智能体在手机、电脑、浏览器以及 DeepSearch 等环境中完成真实任务，而不是只在简化网页或静态截图上做识别与点击。

Qwen-UI-Agent 的定位是“real-world centric foundation GUI agent”，也就是面向真实世界使用场景的基础 GUI 智能体。报告强调，它覆盖移动端、computer-use、web 和 DeepSearch 场景，并尝试把多平台交互、命令行执行、长流程任务、主动服务启动和自我改进能力整合到一个体系中。

核心要点

• 统一多类数字环境：Qwen-UI-Agent 不只针对单一网页或手机应用，而是覆盖移动设备、桌面系统、浏览器任务和 DeepSearch 场景，目标是成为跨平台的通用执行层。
• 真实设备与沙箱结合：系统同时使用多样化沙箱环境和大规模真实移动设备运行时。前者利于构造可控训练与评测任务，后者则帮助智能体面对真实 App、真实界面状态和真实交互延迟。
• GUI 与 CLI 混合行动空间：报告中一个重要设计是统一 action space，允许模型在图形界面操作与命令行执行之间交错行动。这意味着智能体可以既点击、输入、滑动，也能借助 CLI 完成更高效的底层操作。
• 单轮生成批量动作：Qwen-UI-Agent 支持在一次模型决策中生成一组动作，而不是每一步都等待模型重新推理。这有助于降低长任务中的交互成本，也可能提升执行效率。
• AutoResearch 式数据飞轮：系统让智能体参与任务和环境构造、失败诊断以及后续迭代规划，减少完全依赖人工标注与人工排错的压力。
• 在线强化学习与长轨迹训练：报告称其在线 RL 支持超过 100 轮的轨迹训练，并通过超过 10,000 个并发环境加速 rollout。这表明团队把长时程任务完成能力作为核心训练目标。
• 轻量 harness 层：该层用于支持主动服务发起，以及移动端和桌面端之间的有状态工作流，让智能体更接近真实助手，而不仅是被动响应指令。

评测表现

根据报告，Qwen-UI-Agent 在移动端使用基准上取得了新的领先表现：MobileWorld 为 82.1%，MobileWorld-Real 为 92.2%，AndroidDaily 为 97.5%。在桌面使用任务上，它在 OSWorld-Verified 达到 79.5%，在 OSWorld-v2 上获得 40.0% partial-progress score。浏览器与 GUI grounding 方面，报告给出了 WebArena 73.6% 等结果，并称其与 Opus 4.8、Gemini 3.1 Pro、GPT-5.6 Sol 等前沿模型相比具备竞争力。

需要注意的是，这些数字来自论文报告本身。对于 GUI agent 这类系统，评测环境、任务分布、真实设备覆盖范围和失败判定方式都会显著影响结果，因此后续仍需要更多第三方复现和开放基准验证。

意义与影响

Qwen-UI-Agent 的价值在于，它把 GUI 智能体的讨论从“能否识别按钮并点击”推进到“能否在真实数字世界中持续完成任务”。真实设备运行、跨平台工作流、GUI+CLI 混合执行、长轨迹强化学习和数据飞轮，都是面向实用化的重要组件。

如果这类系统继续成熟，未来的 AI 助手可能不再局限于聊天框，而是能直接在手机、电脑和网页中完成订票、整理资料、配置环境、查询信息等连续任务。不过，真实世界 GUI 执行也会带来权限、安全、可控性和错误恢复等挑战。下一阶段的关键，不只是提高 benchmark 分数，而是让智能体在复杂、动态且有风险的设备环境中可验证、可回退、可托管地工作。

来源：Hugging Face Daily Papers