CUA-Master：用开放世界递归改进扩展计算机使用智能体

导语

让模型真正操作电脑，难点并不只是理解屏幕或生成点击指令。计算机使用智能体（Computer-use Agent，CUA）还必须面对任务流程多样、环境状态变化、操作失败恢复以及结果验证等问题。CUA-Master的切入点，是把训练数据构建和模型优化设计成一个持续反馈的递归系统，而不是一次性收集轨迹后进行静态训练。

核心方法

论文提出的是一个“嵌套双循环”框架。外循环位于系统层面，形成“世界—数据—模型”飞轮：模型在开放世界任务上的表现会暴露新的弱点，这些弱点再用于指导后续数据构造、训练与评估。随着迭代进行，系统不只重复已有任务，而是尝试把模型当前不擅长的能力转化为新的数据需求。

内循环位于数据层面，由两个环节组成：

• 开放世界播种：从教学视频等公开语料中挖掘真实工作流，将自然发生的操作过程整理为种子任务。为减少单纯依赖视觉模仿带来的偏差，方法采用视觉与语义双路径重建交互轨迹。
• 自催化传播：把种子任务拆解、抽象为可复用的操作原语，再通过组合和变换合成更多样、更复杂、同时具备可验证结果的任务。这样，有限的真实示例可以成为后续任务生成的基础。

在轨迹采集环节，CUA-Master还加入反馈引导的快照—回滚重试机制。智能体在真实环境中失败后，可以依据环境反馈回到合适的状态重新尝试，从而减少整条轨迹因局部错误而作废的情况。素材显示，该机制旨在提高交互数据收集的效率和可靠性，但并未披露所有实现细节。

实验与意义

论文报告的CUA-Master-27B在多个基准上进行了评估：OSWorld Verified得分80.2，OSWorld 2.0得分36.9，WeaveBench得分43.9，Agents' Last Exam得分25.0，覆盖纯GUI和GUI-CLI混合场景。作者还表示，递归迭代能够持续改善数据合成质量与效率，并带来连续性能增益。

这项工作的价值不只在于提出一套任务生成器，更在于重新定义了计算机使用智能体的训练闭环：真实世界负责提供新鲜分布，模型失败负责暴露数据缺口，合成系统负责扩大任务空间，反馈机制则负责提升采集成功率。它也提示，未来CUA的竞争可能从单纯扩大模型规模，转向建设更强的环境、数据和评估循环。需要注意的是，当前素材主要提供摘要和汇总指标，关于不同组件的消融结果、数据规模及泛化边界，仍需结合完整论文进一步判断。

来源：Hugging Face Daily Papers