Work2Skill：把人类 GUI 操作经验转化为可复用的智能体技能

导语

计算机使用智能体已经能够执行越来越复杂的桌面任务，但一旦遇到陌生软件、专业流程或依赖经验判断的操作，它们仍容易陷入“会点按钮、不会办事情”的困境。Work2Skill 提出的方向是：不把人类演示仅仅当作动作轨迹，而是把它视为包含流程知识的工作样本，并从中提炼出能够迁移到后续任务的技能。

核心要点

• 同步记录真实交互。 WorkRecorder 将屏幕录像、鼠标与键盘事件，以及可获得的辅助功能树信息对齐，尽可能保留人类操作发生时的视觉、输入和界面结构上下文。
• 建立可用于技能学习的数据集。 研究团队基于 WorkRecorder 构建 WorkDemo-350，包含 350 条桌面 GUI 演示，并对演示的完整性和任务是否成功进行筛选。
• 从动作中抽象工作流。 技能归纳方法会按需检查演示证据，提取工作流规则、步骤之间的依赖关系，以及判断任务是否完成的检查条件，而不是简单复述“先点击哪里、再输入什么”。
• 在多种执行模型上验证。 在共享执行设置下，Work2Skill 生成的技能在比较的归纳方法中取得最高分数和成功率。相较对应的 No Skill 基线，四种执行模型在 MyPCBench Bounded Action 上的平均分提升为 4.67—10.54 分；在 OSWorld-Verified 的 286 个任务子集上提升为 3.11—7.50 分。

意义与影响

Work2Skill 的关键价值，在于把 GUI 智能体的学习对象从“动作序列”推进到“可解释的程序性知识”。同一个任务可能因为窗口布局、软件版本或输入内容不同而呈现不同的点击轨迹，但其中的先后约束、必要条件和验收方式往往具有更强的复用价值。将这些内容显式提炼出来，有助于智能体在陌生界面中保留流程逻辑，同时根据当前环境调整具体操作。

这项工作也提示，建设计算机使用智能体的数据集，不能只追求更多轨迹，还需要记录轨迹发生的上下文，并确认示范确实完成了目标。WorkRecorder 提供了采集基础，WorkDemo-350 则为后续技能归纳和评测提供了统一样本。不过，现有材料主要展示了基于人类演示的技能提炼效果，技能在更多软件、任务类型和动态界面中的长期稳定性，仍有待进一步验证。总体而言，Work2Skill 为“人类经验如何沉淀为智能体能力”提供了一条清晰路径。

来源：Hugging Face Daily Papers