検索性能が上がるほど頑健性が下がる：マルチホップRAGとASR誤り

導入

音声検索や音声QAでは、ユーザーの発話はまず自動音声認識（ASR）によってテキスト化され、その後に検索拡張生成（RAG）へ渡される。つまり、検索モジュールが受け取るのは発話そのものではなく、アクセントや発音、認識モデルの不確実性によってすでに変形したクエリである。では、マルチホップ検索のような高度な仕組みは、その誤りを吸収できるのだろうか。

論文「Better Retrieval, Worse Robustness」は、少なくとも今回の条件では、答えが単純な「はい」ではないことを示した。検索構造を豊かにすると通常のテキスト入力で有利になる一方、ASRから入った誤りへの依存も強まり得る。

主なポイント

• 標準RAGへの拡張として、エンティティグラフによるリンクと、反復的なクエリ再構成を検証した。
• HotpotQA、2WikiMultiHopQA、MuSiQueの3ベンチマークを対象に、ニューラルTTSで作成した4種類の英語アクセントをASRへ入力した。
• 4つのRAG構成を、誤りのないクリーンテキストを入力するオラクルと比較した。構造の豊かな手法はASR入力でも高い絶対F1を維持しやすいが、クリーンテキストからの落ち込みは大きかった。
• 3つすべてのベンチマークで、IRCoT+HippoRAG2の組み合わせにおける最高WERアクセントとの差は、単純な密ベクトル検索より36～67%大きくなった。
• 2WikiMultiHopQAでは、4手法すべてで、質問中の1つ以上のエンティティが壊れることが退化事例の87～96%を占めた。
• N-best復号と音声的なエンティティ補正を試しても、性能差の大部分は残った。

なぜ高度な構造が誤りを増幅するのか

マルチホップ検索では、まず人物名や場所、組織名などを特定し、そのエンティティから次の証拠へ進む。ASRが重要な名前を似た音の別表記へ変えると、エンティティリンカーは誤ったノードを選ぶ可能性がある。さらに、反復的な推論やクエリ再構成がその誤った前提を引き継げば、1つの転記ミスが複数段階の検索失敗へ拡大する。

単純な密ベクトル検索は、クリーンテキストでは高度な構成に及ばない場合がある。しかし処理経路が短いため、初期のエンティティ誤りが検索グラフや後続の推論によって固定される機会も少ない。ここで重要なのは、絶対スコアの高さと頑健性は同じ指標ではないという点だ。

意義と今後の設計

この結果は、グラフ検索や反復推論が音声RAGに不要だという意味ではない。テキスト環境で有効だった構造を、そのまま音声環境へ移すだけでは不十分だという示唆である。実システムでは、ASRの信頼度を検索側へ伝え、重要エンティティを即座に1つへ確定せず候補として保持し、グラフ探索の前に名前を検証する設計が考えられる。

また、最終F1だけでなく、クリーンテキストとの差、アクセント別の変化、エンティティ単位の失敗率を報告する必要がある。研究チームは、3ベンチマークと4アクセント、3000問・12000行の転写データを公開している。音声RAGの次の課題は、検索を深くすることだけではなく、誤ったエンティティを起点に不確かな推論を連鎖させないことだろう。

出典：Hugging Face Daily Papers