GUI智能体不再固守旧技能：EvoSkill-GUI让执行经验持续进化

导语

GUI智能体真正难处理的，往往不是“点击哪里”这一单一步骤，而是在漫长任务中应对不断变化的界面。弹窗突然出现、页面加载延迟、按钮位置改变，都会让执行前制定的固定计划失效。传统技能框架试图把成功流程保存下来，但这类技能通常在部署前生成，进入真实环境后便缺少继续改进的机制。

核心要点

• 技能从静态文本变成结构化包：EvoSkill-GUI将一个技能拆分为多个文件，分别保存检索元数据、可执行计划、备用定位方法、失败恢复规则、无障碍工具和历史失败案例。这样做的重点不是增加描述长度，而是让执行器能在不同阶段调用更具体的知识。
• 执行过程中允许即时修订：当任务尚未彻底失败时，执行器可以根据当前界面和反馈调整操作路径，减少一次小偏差演变成长链路失败的概率。
• 失败分析强调信息隔离：独立批评器负责诊断失败轨迹，并在严格的信息隔离条件下判断问题来源，避免直接利用不应获得的执行信息。
• 只修改必要的技能文件：执行器通过受限工具接口更新技能包中的特定部分，而不是随意重写全部知识。这种设计有助于把新经验沉淀为可复用规则。

实验与意义

论文在MobileWorld、AndroidWorld和OSWorld三个GUI基准上进行了验证，覆盖移动端与桌面端场景。作者报告称，在不进行额外训练的情况下，EvoSkill-GUI能稳定改善多个基础模型的表现，最高提升幅度分别达到16.2%、6.0%和10.5%。这些结果说明，GUI智能体的进步不一定只能依赖更大的模型或新的训练数据，也可以来自对执行经验的组织和回收。

更重要的是，这一框架改变了“技能库”的定位：它不再只是部署前准备好的操作手册，而是会随着真实使用暴露的问题逐步修订的程序性记忆。对于动态网页、移动应用和桌面软件，这种设计尤其有价值，因为界面变化往往无法被静态流程完整覆盖。

当然，技能能否长期保持可靠，还取决于失败诊断是否准确、修改权限是否足够受控，以及新规则是否会引入错误积累。EvoSkill-GUI提供的是一种无需训练的演化路径：让智能体把每次执行中的偏差转化为下一次可调用的经验。

来源：Hugging Face Daily Papers