오염된 웹페이지 하나가 LLM에 가짜 상품을 추천하게 만든다

서론

검색 증강형 대규모 언어 모델은 상품을 찾고 비교하는 소비자 의사결정의 중간 단계로 빠르게 들어오고 있다. 최신 웹 정보를 검색해 답한다는 점은 유용하지만, 검색 결과가 오염되면 모델이 웹페이지의 거짓 정보를 시장의 신호로 받아들일 수 있다는 새로운 문제가 생긴다. 그 결과 실제로 존재하지 않는 상품이 추천 목록에 들어갈 수 있다.

이 위험을 분석한 논문이 「One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders」다. 이 연구는 EMNLP 2026 Findings에 채택됐으며, 연구진은 FORGE(Fake Online Recommendations in Generative Environments) 벤치마크와 평가 코드를 공개했다.

FORGE는 어떻게 시험했나

연구진은 고정된 검색 웹페이지 집합을 준비한 뒤, 페이지에 등장하는 실제 상품을 가상의 상품으로 부분적으로 바꿨다. 이후 소비자 추천 시나리오에서 LLM이 해당 가짜 상품을 추천하는지 측정했다. 평가는 15개 카테고리의 실제 상품 225개, 5개 소비 상황, 12개 상용 및 오픈 웨이트 모델을 대상으로 진행됐다.

핵심 결과는 다음과 같다.

• 검색 결과 중 한 페이지만 오염해도 오추천률이 최대 27%에 달했다.
• 상위 3개 페이지를 모두 오염된 내용으로 교체하면 오추천률이 최대 73.8%까지 상승했다.
• 모델이 해당 상품에 대해 안정적인 기존 지식을 갖고 있지 않을수록 취약성이 커졌다.
• 추론 기능을 켜도 문제가 해결되지 않았다. 오히려 모델이 존재하지 않는 인기나 이용자 지지를 암시하는 사회적 증거를 만들어 잘못된 추천을 그럴듯하게 설명하는 경우가 있었다.

방어 기법의 한계

연구는 네 가지 방어 전략도 평가했다. 더 회의적으로 판단하라고 지시하는 프롬프트는 일관된 해결책이 아니며, 추론 프롬프트와 비슷하게 취약성을 키울 수 있었다. 두 가지 합의 필터는 웹 노출이 적은 정당한 상품까지 걸러낼 위험이 있다. 출처 신뢰도를 활용한 재순위화는 모든 모델에서 개선 효과를 보였지만, 가짜 상품을 제거한 비율은 약 6분의 1에 그쳤다.

의미와 영향

이 현상은 검색을 사용하지 않을 때 발생하는 단순한 환각과 다르다. 모델이 “웹페이지에 언급됐다”는 사실을 상품의 실재성, 인기, 추천 가치에 대한 간접 증거로 취급한다는 점이 핵심이다. 공격자는 모델의 파라미터를 바꾸지 않고도 상위 검색 결과 일부를 오염시켜 최종 답변에 영향을 줄 수 있다.

앞으로 검색 에이전트와 쇼핑 도우미는 추천의 정확도만 평가해서는 부족하다. 상품의 실재 여부를 독립된 출처로 확인하고, 정보원의 독립성과 여러 채널 사이의 일관성도 점검해야 한다. 이용자 역시 모델이 제시한 상품명, 리뷰, 인기도 설명을 별도의 출처로 검증할 필요가 있다. FORGE는 추천 시스템이 관련성뿐 아니라 오염된 웹 증거에 대한 저항성까지 시험해야 한다는 방향을 제시한다.

출처: Hugging Face Daily Papers