RAGのインデックス拡張で回答が変わる理由

検索拡張生成（RAG）は、言語モデルに外部の知識ベースを接続する仕組みとして説明されることが多い。そのため、インデックスを拡張すれば新しい証拠が増え、既存の質問への回答はおおむね維持されると考えがちだ。しかし、Hugging Face Daily Papers で紹介された研究は、この前提に注意を促している。モデル識別子、プロンプト、検索ポリシー、取得する証拠の深さ、表示方法、公開された生成パラメータを固定しても、コーパスの拡張だけで回答が変わり得るという。

研究者はこの現象を「精度では見えにくい回答 churn」と呼ぶ。通常の精度は、答えが正解かどうかしか集計しない。更新によって正しくなる質問と誤る質問が同時に生じれば、改善と悪化が相殺され、総合スコアには大きな変化が表れない。また、同じスナップショットを使っても生成モデルは実行ごとに異なる回答を出すことがある。更新前と更新後を一度ずつ比較するだけでは、通常のランダム性をインデックス更新の影響と誤認する危険がある。

そこで提案されたのが「Snapshot Compatibility Audit（スナップショット互換性監査）」だ。手順は次の通りである。

• 同一スナップショットで回答を繰り返し、通常の不一致を測る。
• 旧インデックスと拡張後のインデックスを比較し、全体の回答差分を測る。
• 前者を後者から差し引き、コーパスやインデックス更新による余分な churn を推定する。
• 文字列の完全一致だけでなく、正規化済み一致と盲検による意味評価を併用する。

事前登録された Natural Questions 400問の実験では、凍結した FineWeb のプレフィックスを1シャードから7シャードへ拡張した。余分な churn は、正規化済み完全一致で6.44ポイント、盲検意味評価で10.25ポイントに達した。一方、完全一致精度の変化はマイナス1.50ポイントだった。事後分析では、400問中40問で、同一スナップショットの再実行では安定しているのに、インデックス変更後には意味のある回答反転が起きていた。

別に事前登録された TriviaQA 200問の実験でも、規模は小さいものの同じ方向の churn が確認され、完全一致精度は異なる方向に動いた。さらに、別の DeepSeek 生成器とサービング設定を使った100問の結果盲検による事後再現では、完全一致精度が3.00ポイント上昇したにもかかわらず、意味ベースの余分な churn は8.75ポイントだった。つまり、インデックス拡張が常に品質を下げるという結論ではない。精度向上と回答互換性は、別々に管理すべき性質だということだ。

実運用では、RAGの更新前後でベンチマーク精度だけを見るのは不十分になる。安定性が重要な製品やエージェントは、コーパスのスナップショット、検索された証拠、回答差分、同一条件での再現性を記録すべきだ。今後のリリース評価では、精度と互換性を並列の指標として扱う必要がある。新しい知識を取り込むだけでなく、どの既存回答が変わり、その変化が意図したものかを説明できることが、信頼できるRAG運用の条件になる。

出典：Hugging Face Daily Papers