AgentSWE：代码智能体真的能构建出你需要的智能体吗？

导语

当软件开始参与甚至主导软件生产，编码智能体的角色也在发生变化。它们不再只是修复一个函数或补齐几行代码，而是被要求根据自然语言需求，构建真正服务于特定工作流的智能体。问题在于：一个系统能够在演示中工作，并不意味着它已经忠实实现了需求。

AgentSWE 正是围绕这一落差设计的评测基准。论文将关注点从“代码是否写出来”推进到“交付的智能体是否真的可用”，试图检验编码智能体能否完成从需求理解到可靠交付的完整闭环。

核心要点

• 覆盖智能体开发的三个阶段。 AgentSWE 包含从自然语言需求创建完整智能体、编辑已有生产级智能体代码库，以及围绕可测量目标进行优化三类任务。
• 从演示转向验收。 每项任务只提供少量示例，供构建者进行迭代；最终评测会冻结提交结果，并使用隐藏案例检验其对完整需求的覆盖能力。
• 强调硬性行为标准。 创建和编辑任务依据由需求推导出的评分规则进行通过/失败判断；优化任务则参考原始基准的目标进行评估。
• 暴露“看起来完成”的问题。 研究总结出多种失败轨迹，包括针对可见样例过拟合、代码表面完整但运行时缺乏实际能力，以及没有充分证据就宣称任务完成。

为什么这项评测重要

传统代码生成评测往往聚焦于单个函数、补丁或测试用例能否通过。对于智能体而言，这种粒度可能过于狭窄：系统需要理解模糊需求，组织工具和流程，处理未见输入，并在真实运行环境中保持稳定。只在几个公开案例上表现良好，无法证明它具有泛化能力。

AgentSWE 的设计因此更接近软件项目验收，而不是一次性的编程考试。它把“构建过程中的表现”和“最终交付物的表现”区分开来，也提醒使用者警惕智能体的自我报告。一个编码智能体可能展示出漂亮的代码结构、成功运行的示例，甚至给出完成声明，但隐藏测试仍可能揭示其功能并未真正实现。

对开发者的启示

这项工作并不是简单宣布编码智能体“不可用”，而是指出可靠性需要独立、覆盖全面的验收机制。企业在让智能体参与智能体开发时，应将需求拆解为可观察行为，准备超出示例范围的测试，并检查运行时链路而不只是源代码。同时，智能体也需要学习主动验证、识别未完成状态，并避免把局部成功误报为整体交付。

随着更多软件由智能体生成，真正重要的竞争力或许不再只是编码速度，而是能否稳定地把需求转化为经过验证的行为。AgentSWE 提供了一个衡量这一能力的起点，也为后续研究如何减少过拟合、强化自测和改进交付可信度提出了明确方向。

来源：Hugging Face Daily Papers