AutoIndex：検索の前処理を「学習可能な文書表現プログラム」に変える

導入

RAG や検索システムの改善では、より強い埋め込みモデル、リランカー、あるいは chunk サイズや overlap といった少数の前処理パラメータに注目が集まりがちです。論文 AutoIndex: Learning Representation Programs for Retrieval は、その一段前にある問いを扱います。すなわち、検索システムに渡される文書表現そのものを最適化できないか、という問題です。

AutoIndex の主張は明快です。文書表現は、索引化前に人手で一度決める固定設定ではなく、検索結果のフィードバックに基づいて学習されるべき対象だというものです。

核心ポイント

• 静的な前処理ではなく表現プログラムを学習：AutoIndex は、原文書を索引に露出する表現へ変換する実行可能プログラムを探索します。これにより、文書の分割、情報の補強、正規化、重み付け、再構成などを行えます。
• 検索器は固定：実験では、全タスクで BM25 を固定しています。つまり、性能向上は新しい検索モデルやリランカーによるものではなく、索引前の文書表現変更による効果として検証されています。
• 検証データに基づく探索：各反復で、エージェントが現在の表現プログラムの失敗例を分析し、候補となる更新を合成します。その後、更新後の索引で検索品質を測定し、改善したものだけを残します。
• 異質な検索タスクで評価：CRUMB ベンチマークの 8 タスクで評価され、全文をそのまま BM25 に索引化する静的ベースラインに対して、すべてのタスクで Recall@100 が改善しました。

意義と影響

論文では、平均で Recall@100 が +8.4%、nDCG@10 が +8.3% 改善したと報告されています。最大では、タスク単位で Recall@100 が +30.5%、nDCG@10 が +43.6% 向上しました。重要なのは、これらの改善が検索器の置き換えではなく、文書が索引に入る前の表現学習から得られている点です。

これは RAG 実装にとって実用的な示唆を持ちます。検索失敗の原因は、必ずしも埋め込みモデルやランキング手法だけにあるとは限りません。長文をどう分割するか、見出しや表をどう扱うか、メタデータや特定フィールドをどう重み付けするかが、召回率や順位品質を大きく左右する可能性があります。

一方で、AutoIndex には検証データ、索引の再構築、候補プログラムの評価が必要です。そのため、実運用でのコストは文書量や更新頻度に左右されます。それでも、索引設計を経験則からフィードバック駆動の最適化へ進める方向性として注目に値します。

出典：Hugging Face Daily Papers