OpenGCUA：把通用计算机使用代理的完整技术栈开放出来

导语

计算机使用代理正在从“识别界面并点击控件”走向更通用的任务执行系统。阿里巴巴 MAI-UI 团队发布的 OpenGCUA（Open Generalist Computer Use）首个版本，试图开放这类代理的完整技术栈，而不只是提供一个能够操作 GUI 的模型或脚本。

从 GUI 操作转向自主编排

OpenGCUA 将通用计算机使用代理定义为：模型可以自行决定如何观察环境、选择何种行动，并组织完成任务的过程。截图只是其中一种信息来源，代理还可以读取无障碍树、调用应用或系统 API、执行 Shell 命令，并在必要时回到图形界面操作。

这一思路的关键不在于增加更多点击动作，而在于扩大模型的工具选择空间。面对不同任务，模型可以选择结构化信息、程序接口或视觉反馈，而不是被固定流程限制在“截图—点击—再截图”的循环中。

代码执行成为任务控制层

项目把 GUI 操作与无障碍访问、API 和 Shell 操作组合进同一个可执行程序。模型能够利用循环、条件分支和中间结果决定下一步行动。例如，只有在无法通过结构化信息判断页面状态时，才请求新的截图；在获得文件、文本或系统状态后，也可以据此改变后续计划。

另一个设计是“harness-to-model decision transfer”，即把部分原本由代理框架预先规定的观察和任务状态决策交给模型。harness 负责提供安全、可调用的机制，模型则决定何时以及如何使用这些机制。这种划分有望减少固定规则带来的流程冗余，但也意味着模型需要具备更强的规划、错误恢复和工具选择能力。

评测结果与开放内容

在 OSWorld-v2 上，OpenGCUA 的完整配置让评测中的 8 个模型都获得提升，包括 GPT-6 Astra 和 Claude Opus 5。项目报告称，平均部分得分提高 19.6 分，报告的每任务步骤数平均减少 53.0%。这些结果说明，改进代理运行框架本身，可能与单纯更换模型同样重要。不过，相关结果来自项目给出的特定配置、提示词和评测环境，仍需要社区复现和更广泛的基准验证。

首个版本开放了实现代码、提示词以及 8 个模型的评测轨迹，还提供面向 macOS 的真实设备 harness 和跨设备 SDK。后者试图用统一的编程接口连接电脑、浏览器和手机，让一个程序协调多个设备完成任务。项目还配套交互式实验室，用于展示代码执行、真实设备操作和跨设备协作等机制。

意义与待解问题

OpenGCUA 的价值在于把计算机使用代理的竞争焦点，从单一模型能力扩展到模型、工具、执行环境和评测体系的协同设计。真实设备场景也暴露出模拟环境中不容易出现的权限、状态变化和设备差异问题。

下一步仍有几个关键问题：如何降低代码执行的推理与运行成本，如何在开放工具环境中控制风险，如何建立稳定的真实设备基准，以及如何统一浏览器使用与通用计算机使用。OpenGCUA 提供了一个可研究的开放起点，但其长期影响仍取决于复现质量、社区贡献和安全机制的完善。

来源：Hugging Face Daily Papers