검색은 좋아졌지만 견고성은 약해졌다: 멀티홉 RAG가 ASR 오류를 키우는 방식

들어가며

음성 검색과 음성 질의응답 시스템은 대개 자동 음성인식(ASR)을 먼저 거친 뒤 검색증강생성(RAG)을 수행한다. 따라서 RAG가 받는 것은 사용자가 실제로 말한 문장이 아니라, 억양과 발음, 인식 모델의 불확실성으로 이미 변형된 텍스트다. 멀티홉 검색처럼 여러 단계의 탐색과 추론이 필요한 구조가 이런 오류를 흡수할 수 있는지는 중요한 실무 문제다.

연구 논문 Better Retrieval, Worse Robustness는 복잡한 검색 구조가 항상 오류에 강한 것은 아니라고 지적한다. 엔터티를 활용한 연결과 반복적 질의 재구성은 깨끗한 텍스트에서는 성능을 높일 수 있지만, ASR에서 들어온 오류를 후속 단계로 확산시킬 가능성도 있다.

핵심 결과

• 표준 RAG의 확장으로 엔터티 그래프 연결과 반복적 질의 재구성을 평가했다.
• HotpotQA, 2WikiMultiHopQA, MuSiQue 세 가지 멀티홉 QA 벤치마크를 대상으로 했으며, 신경 TTS로 만든 네 가지 영어 억양을 ASR에 입력했다.
• 네 가지 RAG 구성을 깨끗한 텍스트를 입력하는 오라클과 비교했다. 구조가 풍부한 방법은 ASR 조건에서도 절대 F1이 높은 편이었지만, 이상적인 텍스트 입력에서의 이점을 더 많이 잃었다.
• 세 벤치마크 모두에서 IRCoT+HippoRAG2 조합의 최고 WER 억양 대비 F1 격차는 단순 밀집 검색보다 36~67% 더 컸다.
• 2WikiMultiHopQA에서는 네 방법 모두에서 질의 엔터티 하나 이상이 손상된 사례가 성능 저하 사례의 87~96%를 차지했다.
• N-best 디코딩과 음성 기반 엔터티 보정을 적용해도 성능 격차의 대부분은 남았다.

구조가 오류를 증폭하는 이유

멀티홉 검색은 보통 질문 속 인물, 장소, 기관, 작품 등의 이름을 먼저 식별한 뒤 해당 엔터티와 연결된 다음 증거를 찾는다. ASR이 핵심 이름을 비슷한 소리의 잘못된 형태로 바꾸면 엔터티 링커는 엉뚱한 노드를 선택할 수 있다. 이후 반복 추론이나 질의 재구성이 그 잘못된 엔터티를 전제로 진행되면, 최초의 전사 오류가 여러 검색 단계의 실패로 이어진다.

단순 밀집 검색은 깨끗한 텍스트 환경에서 더 약할 수 있지만, 처리 경로가 짧아 초기 오류가 그래프 구조나 후속 추론에 의해 굳어질 가능성도 낮다. 따라서 절대 점수가 높다는 사실과 잡음에 대한 견고성이 높다는 사실은 구분해서 봐야 한다. 더 강한 모델이더라도 이상적인 입력과 실제 음성 입력 사이의 하락폭은 더 클 수 있다.

의미와 시스템 설계 시사점

이번 결과가 그래프 검색이나 반복 추론을 음성 RAG에서 배제해야 한다는 뜻은 아니다. 텍스트 입력에서 효과가 확인된 검색 구조를 음성 환경에 그대로 적용해서는 안 된다는 의미에 가깝다. 실제 시스템은 ASR 신뢰도를 검색 모듈에 전달하고, 중요한 엔터티를 하나의 후보로 즉시 확정하기보다 여러 후보로 유지하며, 그래프 탐색 전에 이름을 검증하는 절차를 고려할 필요가 있다.

평가 방식도 달라져야 한다. 최종 F1만 제시하면 시스템이 정말 견고한지, 아니면 원래 성능이 높아서 잡음 속에서도 상대적으로 높은 점수를 얻는지 알기 어렵다. 깨끗한 텍스트와의 차이, 억양별 변화, 엔터티 단위 오류율을 함께 분석해야 한다. 연구진은 세 벤치마크와 네 억양으로 구성된 3000개 질문, 12000개 전사 행의 데이터와 코드를 공개했다. 음성 RAG의 다음 과제는 검색 단계를 더 깊게 만드는 것뿐 아니라, 불확실한 엔터티를 중심으로 오류가 연쇄되는 것을 통제하는 일이다.

출처: Hugging Face Daily Papers