返回文章列表
模型评测

EvoWeb:让编码智能体在持续迭代中接受真正考验

阅读约 3 分钟

导语

让智能体从零生成一个网页,已经成为常见的评测任务。但真实的软件开发通常不是“一次交付”:用户会不断提出新需求,开发者需要在保留旧功能的同时扩展代码、调整交互,并处理越来越复杂的依赖关系。EvoWeb正是针对这一长期迭代场景设计的基准。

核心要点

  • 从固定规格转向累积请求。 EvoWeb覆盖32个网页应用,共包含320项连续请求。后续请求建立在此前实现之上,测试对象不再只是某个功能能否被生成,而是代码库能否持续演进。
  • 用功能依赖图组织任务。 请求之间按照功能依赖关系安排,使评测能够观察依赖数量和深度增加后,智能体的表现如何变化。
  • 在真实浏览器中检查中间版本。 一个多模态网页智能体会运行每个阶段的应用,检查新提出的功能、它与既有功能的整合,以及先前功能是否出现回归。
  • 关注完整开发轨迹。 EvoWeb没有简单设定一个统一的停止点,而是结合不同用户容忍阈值,对整个开发过程中的表现进行整合,从而刻画可靠性随迭代推进的变化。

评测揭示了什么

论文在开源和闭源前沿模型上进行了实验。结果表明,不同模型之间存在清晰的性能差异,但最突出的共同难题并不是单独实现新功能,而是让新功能正确嵌入已有系统。随着请求继续增加,运行时错误也更频繁出现;当后续任务拥有更深或更多功能依赖时,完成准确率进一步下降。

这说明,单轮网页生成分数并不能完整代表编码智能体的工程能力。一个看似可用的初始版本,可能在多次修改后积累隐性缺陷;如果评测只检查最终要求,便容易忽略中途回归、接口不一致和应用逐步失稳等问题。

意义与影响

EvoWeb把评测重点从“能否写出代码”推进到“能否维护并持续扩展代码”。对模型开发者而言,这类基准有助于发现上下文管理、变更规划、回归测试和错误恢复方面的短板;对应用构建者而言,它也提醒人们不能只依赖一次生成结果,而需要让智能体具备持续验证的工作流。

更重要的是,EvoWeb提供了一种观察长期可靠性的框架:智能体每次修改都可能影响未来任务,真正的能力应体现在跨请求保持功能一致,而不只是某个瞬间的演示效果。随着编码智能体进入更长周期的软件开发,类似的累积式评测或将成为衡量其实际可用性的重要补充。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章