RAGポイズニングを文書レベルの注意崩壊から検出する

導入

検索拡張生成（RAG）は、大規模言語モデルに最新情報や企業内文書を参照させるための標準的な手法になりつつある。一方で、検索対象のコーパスや検索結果に悪意ある文書を混入させれば、生成モデルの判断を誘導できる。これはRAG特有の攻撃面である。

厄介なのは、攻撃を受けた回答が必ずしも不安定に見えるとは限らない点だ。むしろ、質問や周辺文脈に巧妙に合わせた汚染文書によって、モデルが誤った内容を強い確信とともに出力することもある。「When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse」と題した研究は、最終回答だけでなく、生成中にモデルがどの文書へ依存したかを調べるべきだと指摘する。

主なポイント

• 出力側の不確実性だけでは不十分。 既存の検出手法では、困惑度や回答の一貫性などが利用される。しかし、攻撃文書が質問と自然に整合している場合、汚染された回答の困惑度が正常な回答より低くなることさえある。低い困惑度は、信頼性の証明にはならない。
• 注意の分布が変化する。 正常な生成では、関連する複数の文書に注意が分散すると考えられる。攻撃時には、注意が汚染文書へ徐々に集中し、文書レベルの注意エントロピーが低下する。論文はこの特徴を「Attention Collapse（注意崩壊）」と呼ぶ。
• D-SCANは生成中の信号を追跡する。 D-SCAN（Document-level Signal Collapse Analysis）は、取得された各文書に向けられた注意信号を観測し、生成過程での変化を分析する軽量な検出フレームワークである。最終テキストだけに依存しない点が特徴だ。
• 回答が変わらない場合にも意味がある。 論文によれば、D-SCANは攻撃によって最終回答が変化したケースだけでなく、回答は変わらなくても、モデルの文書への依存関係がすでに偏ったケースも検出できる。

意義と限界

この研究は、RAGの安全対策を「結果の検査」から「生成過程の検査」へ広げる。回答が正しいように見えても、その裏で悪意ある文書が過大な影響力を得ていれば、後続の質問でリスクが表面化する可能性がある。注意の集中は、出典の再確認や追加検証を始めるための補助信号になり得る。

ただし、注意をそのまま因果的な説明とみなすことはできない。モデルの構造、プロンプト、文書の順番、実装方法によって注意分布は変わる。複数ターンの対話やエージェント型RAGでD-SCANがどこまで安定するかについては、さらなる検証が必要だ。実運用では、出典認証、文書の重複排除、内容整合性の確認、出力監査などと組み合わせるのが現実的だろう。

RAGの防御では、「答えは正しいか」だけでなく、「モデルはどの文書を最も信頼し、なぜそれほど確信したのか」も問わなければならない。

Hugging Face Daily Papers