CUA-SWE：让计算机使用代理真正进入软件工程闭环

导语

软件开发并不只是编写或修改代码。真实工作往往是一个循环：启动程序、操作界面、观察视觉反馈、定位问题、修改实现，再次运行以确认结果。现有编码代理通常擅长处理代码和终端，却较少被要求理解应用的图形表现；计算机使用代理则能够操作界面，但未必能把观察结果追溯到具体代码。CUA-SWE 正是针对这条断裂的评测尝试。

核心要点

• 把多种操作放进同一任务。 CUA-SWE 同时要求代理修改代码与配置、执行命令、操作运行中的软件，并检查截图等视觉反馈，而不是把这些能力拆成彼此独立的测试。
• 强调视觉信息对工程决策的作用。 有些任务的规格或操作信息只存在于正在运行的应用界面中。代理不能只依赖仓库文本，还需要通过图形交互获得线索，再决定下一步修改。
• 关注诊断与验证的闭环。 当运行时交互失败时，代理需要将界面现象与负责实现的代码联系起来，完成修复后重新使用软件，确认问题是否真正解决。
• 以可执行测试判断结果。 每个任务都包含确定性的、任务专属的测试，用于验证最终软件是否满足要求，同时检查指定的既有行为是否被保留。
• 覆盖四类软件工程领域。 研究通过跨领域任务观察代理在不同信息需求下的行为，并分析成功修复所伴随的开发流程。

意义与影响

CUA-SWE 的价值不在于单独增加一个图形界面操作测试，而在于重新定义了“完成软件工程任务”的边界。对代理而言，截图不再只是展示结果的附件，而可能是规格说明、故障证据或后续行动的依据。一个真正可用的工程代理，需要在源代码、命令行和应用界面之间来回切换，并保持对任务目标的持续追踪。

对评测研究来说，这种设计也提供了比单纯代码补丁更接近实际开发的观察窗口。通过确定性测试，研究者可以把视觉交互过程与最终软件正确性联系起来，而不必仅凭操作轨迹或语言解释判断代理是否成功。与此同时，素材目前没有给出具体模型排名、任务数量或性能数字，因此更适合将 CUA-SWE 理解为一套评测基础设施和研究问题，而不是已经证明某类代理占优的结论。

随着软件越来越依赖复杂界面、配置流程和运行时状态，编码代理与计算机使用代理的融合可能成为重要方向。CUA-SWE 提供的正是一个可执行的起点：让代理不仅写出代码，还要看见软件、使用软件，并用可验证的结果证明修改有效。

来源：Hugging Face Daily Papers