UI-Mate：让GUI智能体学会参考示范并在界面中重新规划

2026年8月18日阅读约 2 分钟

导语

让模型“看懂界面”只是电脑操作智能体的起点。真正困难的是在不同用户、不同软件和不同工作习惯下，持续完成一连串操作。UI-Mate论文将问题拆成两部分：一方面，用环境和验证器生产更可靠的训练数据；另一方面，让智能体在指令不够明确时参考示范，但不机械照搬示范路径。

环境驱动的闭环训练栈：UI-Mate以统一的任务—验证器组合为基础，自动完成任务生成、环境构建、轨迹执行、结果过滤和能力均衡，再进行监督微调与在线强化学习。论文强调，这套流程可以在大规模并行环境中运行，目标是缓解GUI数据稀缺、偏差以及执行结果难以确认的问题。
从示范中提取子任务流程：示范并非固定脚本。模型会将多模态示范转化为较灵活的子任务级工作流，优先跟随与当前目标相关的步骤，并依据眼前的界面状态重新规划。这种方式适合处理软件版本、窗口状态或用户习惯发生变化的场景。
面向长程办公任务的评测：OSWorkerBench包含41个应用中的100项长程办公任务，同时支持仅给指令和提供示范两种设置。其中，33项任务构成自示范评测，示范来自强智能体完成同一目标的成功轨迹；45项任务属于变体示范评测，示范由人工录制，且与目标任务相关但并不完全相同。
开放权重模型表现：UI-Mate-27B在通用电脑使用基准上取得新的开放权重成绩，在OSWorld-Verified上达到77.0%。这表明训练闭环与示范学习的组合，可能成为提升开放模型GUI能力的一条路径。

UI-Mate的价值不只是增加一个GUI模型，而是把“如何获得可验证的操作经验”放到了系统设计中心。对办公自动化而言，用户往往不会描述每个隐含步骤；他们更可能提供一个录屏、范例或半成品结果。能够提取示范中的意图，同时根据实时界面修正动作，比单纯扩大指令数据更贴近真实使用方式。

不过，现有材料主要披露了方法框架、基准构成和部分结果，尚不足以判断模型在所有应用、异常恢复和真实用户环境中的稳定性。示范质量、验证器覆盖范围以及不同任务设置之间的可比性，也仍是后续评估重点。总体来看，UI-Mate为开放权重GUI智能体提供了一个从数据生产到在线训练、再到示范辅助评测的完整视角。