HybridCUA：让计算机使用代理学会在 GUI 与命令行之间切换

导语

计算机使用代理正在从“看屏幕、点按钮”迈向更复杂的数字任务执行。但单纯依赖图形用户界面（GUI）往往需要大量点击、拖拽和页面定位，过程缓慢，也容易受到界面变化影响；如果转而为每个应用开发专用 API 或工具，又会带来较高的工程成本和扩展难度。HybridCUA 的核心思路，是让代理同时掌握 GUI 与命令行界面（CLI），并学习在两者之间做出合适选择。

核心方法：不只是增加一个工具

这项工作的关键并非简单地把终端权限交给模型，而是训练模型判断“什么时候应该使用 CLI，以及如何把 CLI 与 GUI 串联起来”。GUI 具有跨应用的通用性，适合处理视觉定位、表单填写和需要直接观察界面的操作；CLI 则适合批量处理、文件管理以及可由 shell 命令高效完成的步骤。混合执行有望减少重复点击，同时保留对不同软件环境的适应能力。

研究团队构建了三类操作轨迹：仅使用 GUI、仅使用 CLI，以及交错使用 GUI 和 CLI 的混合轨迹。由此形成的 HybridCUA-8K 包含 5K 条混合轨迹和 3K 个经验证的 RLVR 任务。数据覆盖方式的价值在于，它不仅告诉模型“能使用什么”，还提供了不同操作路径之间的对照，帮助模型学习工具选择和步骤编排。

训练采用两个阶段。第一阶段通过监督微调学习已有轨迹中的行为模式；第二阶段进行在线强化学习，并加入能够感知 CLI 使用情况的奖励机制，鼓励代理在确有收益时使用命令行，同时避免无必要或不可靠的终端操作。换言之，目标不是让 CLI 使用率越高越好，而是让使用行为更具选择性和稳定性。

实验结果与意义

HybridCUA-9B 在 OSWorld 上取得 53.6% 的准确率，较基础模型提升 14.8 个百分点；在 WindowsAgentArena 上也提升了 4.0 个百分点。就素材披露的信息看，这些结果支持了 GUI 与 CLI 协同训练的有效性，并显示该思路具备一定的跨平台潜力。

这项工作对计算机使用代理的启示有三点：第一，代理的能力边界不应被限定在单一交互模态中；第二，工具调用的“时机”和“方式”与工具本身同样重要；第三，混合轨迹和针对性奖励可能成为训练通用操作代理的重要组成部分。当然，现有材料未披露更细致的任务拆分、失败案例和不同 CLI 策略的消融结果，因此其在更广泛软件环境中的表现仍需进一步验证。

来源：Hugging Face Daily Papers