返回文章列表

代码搜索中,稠密检索的领先究竟说明了什么?

阅读约 3 分钟

代码搜索评测常常显示,稠密检索模型明显胜过 BM25;但在真实开发中,程序员和编程智能体仍频繁使用 grep。两种现象之间的落差,促使研究者追问:基准测试测到的“稠密优势”,究竟有多少来自模型本身,又有多少是评测方法造成的?

论文提出 Repo-Premium,尝试把测试拉回真实仓库场景。基准在仓库级别对文件排序,包含 Python、JavaScript、TypeScript、Go、Rust 和 Java 项目,涉及 2022 至 2026 年的拉取请求,并在 91 个以上仓库上预先登记测试集。与使用整理过的查询和较旧代码的既有基准相比,它希望更贴近开发者实际寻找代码的任务。

研究指出,传统比较可能给稠密检索带来不公平优势。比如,把文件切成小块后再评估 BM25,会改变词项匹配的条件;把被修改的测试文件一概算作相关,也可能影响评测结果。另一个关键因素是查询本身:如果问题没有包含代码里的罕见标识符,依靠词项精确匹配的 BM25 就更难找到目标,而语义检索可能因此显得更强。

论文测试了一种简单的补救方案:先用大语言模型为查询补充可能出现在代码中的标识符,再用 grep 式的词法搜索检索,即“生成后再 grep”。这一步对 BM25 的帮助远大于对稠密检索的帮助;在所有 Python 测试池中,增强后的 BM25 都追平了稠密检索,甚至在模型发布之后提交的拉取请求上也如此。需要注意,这一结论指向 Python 测试池,并不意味着其他语言也已得到同样验证。研究还发现,现有方法无法可靠预测某个具体查询会由哪种检索器胜出。

核心结果与启示

  • 评估稠密检索时,应提供公平、强健的词法检索基线,明确切分和相关性标注的影响。
  • 查询缺少代码中的专有名称或稀有标识符时,补充这些词可能比单纯更换检索模型更有效。
  • 稠密检索与 BM25 的结果可以互补。论文在 539 条锁箱查询上报告,融合两者前十名结果的 nDCG@10 为 0.551,高于稠密检索的 0.533 和 BM25 的 0.432。

这项工作并非证明 BM25 普遍优于向量检索,而是提醒业界不要把基准分数直接等同于真实开发体验。代码既有语义,也有函数名、变量名和 API 等精确词项;实用的代码搜索系统需要同时尊重这两类线索,并把查询质量和评测设计纳入比较。对编程智能体而言,较稳妥的方向不是在“向量”与“grep”之间二选一,而是按任务组合检索、补足代码词汇,并用真实仓库检验效果。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章