コード検索のベンチマークでは、密ベクトル検索が BM25 を大きく上回ることがよくあります。一方、実際の開発者やコーディングエージェントは grep も活用しています。この違いは、語彙検索の限界を示すのでしょうか。それとも、ベンチマークの作り方が結果を左右しているのでしょうか。新しい研究は、この問いを実際のリポジトリに近い条件で検証しました。
研究チームが構築した Repo-Premium は、リポジトリ全体を対象にファイルを順位付けするベンチマークです。Python、JavaScript、TypeScript、Go、Rust、Java の6言語を含み、2022年から2026年までのプルリクエストを扱います。91を超えるリポジトリを含むテストプールは事前登録されています。整理されたクエリや古いコードを中心とする既存評価から、実務のリポジトリ検索に近づけることが狙いです。
論文は、評価上の選択が密検索に有利に働く可能性を指摘します。たとえば、BM25 を評価する際にファイルを細かいチャンクへ分割すれば、語句の一致条件そのものが変わります。また、変更されたテストファイルを一律に関連ファイルと数えることも、評価結果に影響し得ます。クエリに含まれる語も重要です。コード内の珍しい識別子がクエリにない場合、語句の一致を頼りにする BM25 は手掛かりを失います。意味的な類似性を使う密検索が、そこで相対的に強く見えることがあります。
そこで研究者は「生成してから grep する」方法を検証しました。大規模言語モデルにコードに現れそうな識別子を提案させ、それをクエリに加えて語彙検索を行います。この方法は密検索よりも BM25 を大きく改善し、調査対象の全 Python テストプールで BM25 が密検索と同等になりました。LLM 公開後に作成されたプルリクエストでも同様の結果が報告されています。ただし、これは Python のテストプールでの結果であり、6言語すべてに同じ結論が確認されたという意味ではありません。また、どの検索方式が個別のクエリで勝つかを確実に予測できる手法は見つかりませんでした。
主な結果と示唆
- 密検索の利点は、公平で強力な語彙検索ベースラインと比較する。ファイル分割や関連性の判定方法も明示する。
- クエリにコード固有の希少な名前がない場合、それを追加することで検索が改善する可能性がある。
- 2方式は補完関係にある。539件のロックボックスクエリで上位10件を融合した場合、nDCG@10 は0.551となり、密検索単独の0.533、BM25単独の0.432を上回りました。
この研究は、BM25 が一般にベクトル検索より優れていると結論づけるものではありません。ベンチマークの順位が、そのまま現実の開発体験を表すとは限らないと示しています。コード検索では、意味に関する手掛かりに加え、関数名、変数名、API 名などの具体的な語も重要です。コーディングエージェントにとっては、どちらか一方を選ぶより、検索結果を組み合わせ、クエリに不足するコードの語を補い、実際のリポジトリで検証することが実践的な方向性です。
コメント
ログイン状態を確認中…
コメントを読み込み中…