Mage-VL-Cowork:用演化式训练框架打造能看图形界面、也会写代码的电脑智能体
导语
电脑使用智能体正在从“识别屏幕并点击”走向更复杂的混合操作:它既要理解图形界面,也要在必要时编写代码、调用终端,并在不同工具之间保持任务状态。来自这篇论文的 Mage-VL-Cowork,关注的正是这一问题。研究团队从一个具备通用多模态对齐能力的模型检查点出发,训练出4B规模的混合型电脑使用智能体,并公布了一套覆盖数据生产、监督学习和强化学习的完整方案。
核心要点
- 五阶段渐进式训练。 方案贯穿中期训练、监督微调和强化学习,不把GUI操作、代码执行和终端使用割裂成彼此独立的能力,而是逐步让模型学习在同一策略中组合这些动作。
- 从按任务搭建转向可复用生成。 配套系统 Mage-CUA-Forge 使用技能条件化的生成工作流,以及面向具体应用的准备器,批量合成桌面和网页任务。论文称,该系统生成了293,806个任务,覆盖6,915项技能,并将重复性的单任务开销降低82.6%。
- 改造教师工具链,而非直接蒸馏。 研究没有简单复制一个默认教师智能体的输出,而是先演化教师所使用的工具链和执行环境,再实例化面向不同场景的专用智能体工具链,以产生更高质量的轨迹和适配各训练阶段的监督信号。
- 小参数规模下的基准表现。 Mage-VL-Cowork-4B在OSWorld-Verified上最终达到66.0%。按照论文摘要的表述,这一结果在同参数规模中达到当时的领先水平,同时还强调了更高效的推理成本。
意义与影响
这项工作的价值不只在于一个基准分数,而在于它把电脑使用智能体的训练拆解成了可扩展的工程体系。对于这类模型,真正的瓶颈往往不是单一动作是否会执行,而是如何持续获得覆盖多应用、多技能和多工具组合的高质量任务,以及如何让训练信号匹配模型所处的学习阶段。Mage-CUA-Forge试图用技能复用和应用专用准备流程缓解数据生产成本,演化式工具链则把“教师模型本身”扩展为可共同设计的训练环境。
如果这一思路能够在更多应用和更严格的真实环境中复现,它可能推动电脑智能体从云端大模型进一步走向端侧部署。不过,当前素材主要来自论文摘要,尚未提供完整的消融实验、任务分布、失败案例或独立复现信息。因此,66.0%的结果及其“同规模领先”定位仍应结合论文全文和后续评测审慎理解。总体而言,Mage-VL-Cowork展示了一个方向:混合电脑操作能力的竞争,正在从单纯扩大模型参数,转向同时优化数据工厂、教师工具链与分阶段训练策略。
评论
正在确认登录状态……
正在加载评论……