回答する前に「答えられるか」を判断するRAG

導入

検索拡張生成（RAG）は、外部文書を検索してコンテキストに追加し、その情報を基に大規模言語モデルに回答させる仕組みです。しかし、検索結果を渡せば問題が解決するとは限りません。質問に必要な事実が文書に含まれていないこともあれば、複数の文書が互いに異なる内容を示すこともあります。その状態でモデルが流暢に回答すれば、不確実性が消えたのではなく、確信ありげな文章に変換されただけです。

論文「Knowing Before Answering: Decoding Language Models for Reliable RAG」は、回答生成の前に行うべき判断に焦点を当てています。与えられた証拠が十分か、不足しているか、矛盾しているかをモデルが識別できるなら、追加検索や情報源の比較など、状況に応じた処理へ振り分けられます。

主なポイント

• RAGの判断を3クラスに分ける。 研究では、単純な「回答可能／不可能」ではなく、「情報が十分」「情報が不足」「情報が矛盾」の3分類を採用しました。情報不足なら再検索が有効ですが、矛盾がある場合は情報源の比較や不確実性の明示が必要であり、両者を分ける実務的な意味は大きいです。
• 制御されたベンチマークを作成した。 架空の情報を使ってRAG環境を再現し、各例を3つの状態にラベル付けしています。これにより、現実世界の知識量やウェブ検索の品質に左右されず、質問と提示文書の関係を中心に評価できます。
• プロンプトだけでなく内部表現を利用する。 モデルから隠れ活性、注意に由来する特徴、MLP関連の出力を取り出し、軽量な線形分類器を学習しました。モデル全体を再学習するのではなく、入力処理中に生じる信号をルーターとして利用する設計です。
• 複数モデルで一貫した効果を確認した。 異なる構造と規模を持つ16の言語モデルを対象にした実験で、特徴ベースのルーターはプロンプトベースのベースラインと、比較された専用RAGモデルを一貫して上回りました。
• 中間層の信号が重要だった。 最も有益な信号は、通常、モデルの中間層から得られました。多くのモデルでは、注意値やMLP特徴より隠れ状態の方が有効であり、証拠の十分性に関する判断は最終出力だけでなく、意味関係を形成する途中で現れる可能性があります。

意義と課題

この研究は、モデルに「自信がありますか」と尋ねるだけではない信頼性対策を示しています。自己申告型のプロンプトは、文面や出力形式、回答しようとする生成傾向の影響を受けます。一方、内部特徴から学習した独立の分類器なら、証拠評価を生成処理から分離できます。実運用では、まずルーターが文書の状態を確認し、回答、追加検索、情報源の照合、または矛盾の通知を選べます。

ただし、今回の評価は架空情報を使った制御環境に基づくものです。実際のRAGには、文書品質のばらつき、検索順位の偏り、長いコンテキストによる干渉、分野の違いなどがあります。同じ内部信号がオープンドメインや本番環境でも安定するかは、今後の検証が必要です。また、このルーターを万能なハルシネーション検出器とみなすのではなく、対象モデルや用途に合わせて調整する必要があります。

重要なのは、信頼性の判定を最終回答だけでなく、生成前の内部状態にも求めた点です。モデルがすでに「証拠は十分」「情報が足りない」「内容が衝突している」を表現しているなら、その信号を低コストで読み出すことで、RAGは文脈を無制限に増やすだけでなく、答えるべきでないときに停止できるようになります。

出典：arXiv