RAG検索は「関連文書」より「使える文書集合」を評価する段階へ

導入

従来の検索ランキングは、人間が結果一覧を読むことを前提に作られてきた。ユーザーは複数のページを開き、重複や矛盾を自分で判断できる。しかしRAGやAIエージェントでは、検索結果を読む主体が大規模言語モデルに移りつつある。モデルに渡される文書集合の質が、その後の回答生成の上限を決める。

論文「Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking」は、この変化を出発点にしている。個々の文書がクエリに関連していても、集合としては不十分な場合がある。同じ情報を繰り返すだけかもしれないし、重要な観点が抜けているかもしれない。あるいは、文書同士が矛盾している可能性もある。

核心ポイント

• 単一文書の関連度から集合品質へ：既存の評価は文書を個別に採点し、nDCGのような指標で集約することが多い。だがこの方法では、冗長性、衝突、相補性といった文書間の関係を捉えにくい。
• SetwiseEvalKit の提案：短文形式と長文形式の両方を対象にした文書集合評価ベンチマークで、三層・九次元の構造を持つ。約2.8万件の高品質な評価rubricを含む。
• 既存rerankerの限界：12種類のrerankerを体系的に評価したところ、最良手法でもカバレッジは45%を超えなかった。特に、文書間の協調を評価する次元は全体的に弱い。
• 万能な手法はない：短文設定と長文設定の両方で常に最良となる単一手法は確認されていない。生成タスクの長さや目的によって、望ましい文書集合は変わる。
• Rubric4Setwise：著者らは、rubricに含まれる評価基準を文書集合選択のシグナルに変換する学習不要の方法を提案した。論文では、より少ない文書数と検索ラウンドで下流生成性能を高めたとされる。

意義と影響

この研究が重要なのは、RAGの失敗をより現実的に説明できる点にある。検索スコア上は妥当に見えても、実際にモデルへ渡したコンテキストが重複だらけだったり、根拠が片寄っていたり、情報源同士が食い違っていたりすることは多い。単一文書の関連度だけでは、こうした問題を診断しにくい。

SetwiseEvalKitは、文書集合が証拠として機能しているかを評価対象にする。これは、人間向けの検索結果リストではなく、モデル向けの入力コンテキストを最適化するというRAG時代の要求に合っている。

またRubric4Setwiseは、評価基準を単なる採点表で終わらせず、検索最適化に戻す方向を示している。評価、診断、最適化をつなげる発想は、実運用のRAG改善にも応用しやすい。

一方で、rubricをどのように安定して作るかは課題になり得る。素材中のコメントでは、rubricはクエリごとに生成され、クエリと回答ページを使うと説明されている。これは精度向上に役立つ反面、分野やユースケースが変わった際のコストや一貫性も検討が必要だ。

全体として、この論文はRAG検索を「関連文書の順位付け」から「生成に役立つ証拠集合の構築」へと捉え直している。AIエージェントが複数の情報源を読む時代には、少数でも網羅的で、矛盾が少なく、相互補完する文書集合を作る能力が重要になる。

出典：Hugging Face Daily Papers