OS-Helix：让电脑智能体学会在图形界面与代码之间协同

导语

真实的电脑操作很少只依赖鼠标点击，或只依赖命令行脚本。用户可能先在办公软件中打开文件、确认界面状态，再通过代码批量处理文件，最后回到图形界面检查结果。对电脑使用智能体而言，真正困难的不是分别掌握 GUI 和代码，而是判断什么时候应该切换，以及如何让两种操作共同完成一个任务。

OS-Helix 由中国科学技术大学团队提出，目标是把 GUI 交互与代码执行统一到一个端到端训练的多模态智能体中。研究者的初步实验显示，直接给 GUI 智能体外挂代码工具，效果反而可能下降。原因在于，工具调用本身并不会自动教会模型进行路由决策：模型仍需要理解当前桌面状态、任务目标和不同动作的代价。

核心方法

• 统一动作空间。 OS-Helix 将点击、键盘输入等 GUI 动作和代码执行放进同一策略中训练，使模型学习如何选择工具，而不是依赖提示词层面的简单拼接。
• 构造可运行的桌面状态。 团队提出“应用—工件组合”方法，把桌面应用与真实文件等材料配对，生成可执行的 Ubuntu 环境。这样，任务不只是描述性的问答，而是能够在桌面中实际完成的操作。
• 将指令生成与评估解耦。 研究者分别生成任务指令和结果评估器，使最终状态能够独立于解决路径进行验证。无论任务是通过点击完成，还是通过脚本完成，只要环境达到目标状态，就可以被统一评估。
• 结合监督学习与在线强化学习。 模型先使用筛选后的 GUI/代码混合轨迹进行 SFT 冷启动，再在实时桌面环境中进行在线 RL，从实际执行结果中继续优化。
• 按步骤平衡 GSPO。 GUI 动作通常较短，而一段代码可能包含大量 token。若直接按 token 聚合重要性权重，长代码动作可能压制其他动作。Step-balanced GSPO 改为按动作步骤聚合权重，降低这种异构动作之间的优化失衡。

结果与意义

在 OSWorld-Verified 上，OS-Helix-27B 和 OS-Helix-35B-A3B 相比对应的 Qwen3.5 混合基线，分别取得 35.0% 和 33.7% 的相对提升。进一步经过强化学习的 OS-Helix-27B-RL 达到 66.44% 成功率，相比其基线提升 42.9%。项目还报告了在 WindowsAgentArena 上 63.87% 的成绩，而且没有使用 Windows 专属训练数据，这为跨平台迁移提供了积极信号。

这项工作的价值不只在于一个更高的基准分数。它指出，电脑智能体的关键瓶颈正在从“能否调用工具”转向“能否学习工具之间的协同”。可验证环境和真实文件工件让训练数据更接近实际桌面状态，按步骤设计的强化学习目标则更适合同时处理点击、输入和代码等不同粒度的动作。

当然，现有结果主要来自特定基准和研究环境，不能直接等同于通用桌面助手已经成熟。未来仍需要检验其在更多操作系统、长流程任务、异常恢复和安全边界下的稳定性。若相关数据、训练代码和评估工具按计划开放，OS-Helix 也可能为构建可复现的电脑使用智能体研究提供一套有价值的基础设施。

来源：Hugging Face Daily Papers