汚染されたウェブページ1枚で、LLMは偽の商品を推薦する

導入

検索拡張型の大規模言語モデルは、商品探しや比較など、日常的な意思決定にも使われ始めている。モデルが最新のウェブ情報を取得して回答できる点は便利だが、同時に新しい攻撃面も生まれる。検索結果に含まれるページが意図的に書き換えられていれば、モデルは存在しない商品を市場にある選択肢として扱う可能性がある。

この問題を調べた論文が、EMNLP 2026 Findingsに採択された「One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders」である。研究チームは、Fake Online Recommendations in Generative Environmentsを意味するFORGEを提案し、評価用コードとともに公開している。

FORGEの評価方法

FORGEでは、実際に取得された固定的なウェブページ集合を用意し、その中で紹介されている実在商品を架空の商品へ局所的に書き換える。その後、消費者向けの複数シナリオで、LLMが偽の商品を推薦するかを調べる。評価対象は15カテゴリー、225の実在商品、5つの利用シナリオ、12の商用およびオープンウェイトモデルに及ぶ。

主な結果は次の通りだ。

• 検索ページを1枚だけ汚染しても、誤推薦率は最大27%に達した。
• 上位3ページをすべて置き換えると、誤推薦率は最大73.8%まで上昇した。
• 商品についてモデルが安定した事前知識を持たない場合、脆弱性が高まった。
• 推論を有効にしても安全性は改善しなかった。むしろ、存在しない評判や利用者支持を思わせる「社会的証明」を生成し、誤推薦をもっともらしく説明することがあった。

防御策の限界

研究では4種類の防御策も検証された。懐疑的に判断するよう促すプロンプトは万能ではなく、推論と同様に脆弱性を悪化させる場合がある。2種類のコンセンサスフィルターは、ウェブ上の情報が少ない正当な商品まで除外するおそれがある。情報源の信頼性を使った再ランキングは全モデルで改善をもたらしたものの、除去できた偽商品は約6分の1にとどまった。

意味するところ

これは、検索なしの幻覚だけの問題ではない。検索された情報を推薦の根拠へ変換する過程で、「ページに書かれている」ことが「商品が実在する」「推薦に値する」ことの代替証拠になっている点が重要だ。攻撃者はモデルの重みを変更しなくても、上位に表示される少数のページへ影響を与えればよい。

今後の検索エージェントやショッピングアシスタントには、通常の正解率だけでなく、商品の実在性を独立情報源で確認する仕組みが必要になる。情報源の独立性や複数チャネル間の整合性も検査すべきだ。FORGEは、推薦システムを関連性だけでなく、意図的に汚染されたウェブ証拠への耐性でも評価すべきだと示している。

出典：Hugging Face Daily Papers