DuoDiscover:用“快尺子”突破自主发现的评估瓶颈
导语
在自主编程和芯片设计中,提出一个代码改动往往只需几秒,但判断改动是否真正有效,却可能需要运行完整基准、服务追踪或硬件测试。评估时间一旦从分钟拉长到小时,搜索系统就无法尝试足够多的方案,代理数量增加也未必能带来相应收益。
DuoDiscover关注的正是这一“评估瓶颈”。这项工作并不只让代理寻找更好的实现,也让代理同时寻找一种更快、且适合当前目标的评估方法。
核心机制
- 共同发现优化目标和评估器:每个编码代理在探索改动时,都会为自己的目标构建一个快速代理评估器。研究者将其称为“yardstick”,即一把针对特定任务的尺子。代理先用这把尺子进行高频迭代,而不是每次都运行成本高昂的真实评估。
- 持续检查评估器的忠实度:快速评估器可能与真实目标存在偏差,搜索甚至会专门利用这种偏差。DuoDiscover因此周期性地将候选方案放回真实评估中,重新检查快速评估器对方案优劣的排序。如果排序发生漂移,该评估器就会被作废或不再作为可靠依据。
- 自底向上的代理群体:系统没有设置一个负责拆解所有任务的中央控制器。轻量级协调器只负责启动、终止和简要提醒代理,并将已经确认的工作提供给新代理。这种设计让不同代理可以并行探索不同方向,同时共享经过验证的成果。
实验表现与边界
论文在两个仓库级软件基准以及四组覆盖数百个内核的 GPU、TPU 优化任务上测试了系统。报告显示,在 SWE-fficiency 上,DuoDiscover取得了人类专家平均加速效果的两倍;在 SOL-Exec 上,它在 235 个内核中的 121 个排名第一,并有 212 个进入前三。此外,论文还报告了 NVIDIA 相关内核基准中的领先表现,以及 FreeToken 项目中合并代码变更的案例。
这些结果说明,代理系统的规模并不是唯一关键变量。若每次尝试都被昂贵评估拖慢,更多代理只会排队等待;让代理学习“如何快速判断进展”,可能比单纯增加搜索预算更有效。不过,快速尺子始终是近似物,真实评估仍不可替代。DuoDiscover的核心价值不是消除验证成本,而是把昂贵验证集中到校准和确认环节,并防止搜索长期围绕错误指标优化。
意义与影响
这项工作将评估器本身纳入自主发现流程,拓展了“代理写代码—运行测试”的传统闭环。对于软件性能调优、推理服务优化和芯片架构搜索等任务,未来的自动化系统或许不仅要提出候选方案,还要主动构建适合当前问题的测量工具。与此同时,如何定义校准频率、识别评估器失效,以及控制近似指标带来的偏置,仍是这类系统走向更复杂真实环境时需要解决的问题。
评论
正在确认登录状态……
正在加载评论……