HCU：让电脑使用智能体在代码、语义与视觉之间自由切换

导语

目前许多电脑使用智能体仍以截图、鼠标和键盘为主要接口。这样的设计贴近人类操作习惯，却也意味着模型需要反复理解屏幕，并通过坐标或视觉线索完成本来可以由程序直接执行的任务。论文《Hybrid Computer Use》提出 HCU，试图把电脑的三种能力放进同一个接口，让智能体根据任务自行选择操作方式。

核心要点

• 三类通道统一开放：程序化通道允许模型编写代码、使用命令行工具；语义通道通过 accessibility（AX）读取界面结构并定位控件；视觉通道则保留截图和 GUI 操作能力。
• 由模型决定如何组合：HCU 不在上层增加独立的规划器或路由器，而是让模型在每一步选择代码、AX 或 GUI，也可以在任务过程中切换。
• 减少无效交互：AX 工具使用较短的控件引用，单次调用最多可执行 64 个动作，并以 AX diff 报告变化，而不是重复返回完整界面状态。执行输入前，系统还会检查目标是否仍处于实时有效状态，以降低状态过期导致的误操作。
• 具备较强的工程兼容性：项目提供 MCP server、SDK 和 CLI，可接入不同的智能体运行框架，并支持 Linux、macOS 和 Windows。

实验表现

在 OSWorld 2.0 的对比中，HCU 取得最高的 Partial 和 Binary 分数：使用 GPT-6 Astra 时 Partial 为 72.37%，使用 Claude Opus 5 时 Binary 为 35.19%。在 OSWorld 1.0 中，用 HCU 替换 CUA Driver 后，四个被评估模型的成绩平均提升 6.48 个百分点，同时步骤数减少 17%、成本降低 30%。作者还报告称，在 Windows、macOS 和 Linux 上，HCU 能以大约一半的 CUA Driver 成本取得更高分数。

意义与影响

HCU 的价值不只是增加工具数量，更在于改变电脑使用智能体的接口假设：视觉并非唯一入口，界面结构和程序能力也应成为模型可直接利用的环境信息。不同模型在三种通道上的任务分配并不相同，但素材显示它们使用 HCU 后都得到改善，说明统一接口可以容纳不同的操作策略。

对于长流程办公、软件配置和跨应用任务，这种设计可能减少重复观察、坐标点击和状态确认。不过，模型是否能稳定判断何时使用代码、AX 或 GUI，仍将影响实际收益；论文中的结果主要来自指定基准和对比系统，不能直接等同于所有真实工作流中的表现。

来源：Hugging Face Daily Papers