CADWorld：让计算机使用代理进入真实工程设计流程

导语

许多计算机使用代理已经能够在桌面环境中完成搜索、表单填写或简单软件操作，但工程设计软件提出了更高要求：任务结果不能只是屏幕上“看起来正确”，还必须以可编辑、可复用、可验证的原生工程文件保存下来。CADWorld 正是针对这一问题提出的长时程计算机辅助设计基准，运行环境为开源 CAD 软件 FreeCAD。

核心要点

• 覆盖完整的机械 CAD 流程。 基准包含 200 个任务，涉及 11 类工作流，包括草图绘制、零件建模、装配、CAM、有限元分析、测量、网格处理和技术制图等。
• 通过 GUI 完成任务。 代理主要依赖截图和图形界面操作，而不是直接调用结构化 CAD API。这更接近真实桌面软件使用，也意味着代理需要持续理解界面状态、处理反馈并修正错误。
• 检查的不只是最终外观。 CADWorld 会对保存的 FreeCAD 工程文件及辅助输出执行任务专属检查，评估几何属性、参数化结构、约束关系、制造状态和仿真结果等内容。
• 通用 GUI 能力与工程可靠性存在明显差距。 在七个现有代理的完整测试中，最强代理成功率为 17.5%，专家参考通过率则为 87.0%。较弱代理往往在生成有效文件之前就失败；能力更强的代理虽然更容易留下可用产物，却仍会在结构、几何和建模过程要求上出错。

为什么 CAD 更难

机械 CAD 任务通常具有很强的依赖关系。一个草图约束没有正确建立，可能影响后续拉伸；特征树中的操作顺序不符合要求，即使模型外形相似，也可能无法通过检查；尺寸、基准、装配关系或仿真设置的细微偏差，也会让最终工程状态失效。因此，代理必须同时维护视觉状态、操作历史、参数关系和文件结构。

这也是 CADWorld 与只比较截图或最终视觉结果的界面基准的重要区别。它把“完成任务”的定义从一次成功点击，推进到持续构建一个能够被软件重新打开、检查和继续编辑的工程对象。对代理而言，错误恢复也不再是简单返回上一步，而可能需要定位依赖链、重建特征或重新设置约束。

意义与影响

CADWorld 提供了一个更贴近专业生产环境的评测视角。它表明，代理在通用桌面操作上的表现，不能直接推导出其执行工程工作流的能力。未来系统不仅需要更准确地识别按钮和菜单，还需要理解参数化建模逻辑、规划长序列动作，并在关键节点验证文件是否仍然满足任务约束。

对研究者而言，这一基准也有助于区分不同失败类型：是没有完成界面操作，还是生成了文件却破坏了几何和结构。对工程应用而言，只有当代理能够稳定产出原生、可检查且可继续修改的 CAD 项目时，自动化才真正具备落地价值。CADWorld 的低成功率并非说明 GUI 代理没有进展，而是揭示了从“会操作软件”到“能可靠完成工程”的距离。

来源：Hugging Face Daily Papers