답변 전에 ‘답할 수 있는지’ 판단하는 신뢰할 수 있는 RAG

들어가며

검색 증강 생성(RAG)은 외부 문서를 검색해 언어 모델의 입력에 넣고, 그 근거를 바탕으로 답변을 생성하는 방식입니다. 하지만 검색 결과가 있다는 사실만으로 답변의 신뢰성이 보장되지는 않습니다. 질문에 필요한 핵심 정보가 문서에 빠져 있을 수 있고, 여러 문서가 서로 다른 주장을 담고 있을 수도 있습니다. 이런 상황에서 모델이 자연스럽게 답변하면 불확실성이 해결된 것이 아니라, 확신에 찬 문장으로 포장된 것에 가깝습니다.

논문 ‘Knowing Before Answering: Decoding Language Models for Reliable RAG’는 생성 전에 수행해야 할 판단을 다룹니다. 모델이 제공된 증거가 충분한지, 부족한지, 서로 충돌하는지를 구별할 수 있다면, 시스템은 바로 답하는 대신 추가 검색이나 출처 비교 같은 적절한 절차로 요청을 보낼 수 있습니다.

핵심 내용

• RAG 판단을 3분류 문제로 정의했다. 연구는 단순한 ‘답변 가능／불가능’ 구분을 넘어 정보 충분, 정보 부족, 정보 충돌을 분리합니다. 정보 부족에는 재검색이 필요할 수 있지만, 정보 충돌에는 출처 비교나 불확실성 표시가 필요하므로 두 상황을 구분하는 것이 실용적입니다.
• 통제된 벤치마크를 구성했다. 연구진은 허구의 정보를 사용해 RAG 환경을 재현하고 각 사례에 세 가지 라벨을 부여했습니다. 이를 통해 현실 지식의 보유량이나 웹 검색 품질이 결과에 미치는 영향을 줄이고, 질문과 입력 문서의 관계를 집중적으로 평가했습니다.
• 프롬프트가 아닌 내부 표현을 활용했다. 모델에서 은닉 활성값, 어텐션에서 파생된 특징, MLP 관련 출력을 추출한 뒤 경량 선형 분류기를 학습했습니다. 언어 모델 전체를 다시 학습하지 않고, 입력을 처리하는 과정에서 이미 생성된 내부 신호를 라우팅에 활용하는 방식입니다.
• 다양한 모델에서 효과를 확인했다. 서로 다른 구조와 규모를 가진 16개 언어 모델을 대상으로 실험한 결과, 특징 기반 라우터는 프롬프트 기반 기준선과 비교된 특화 RAG 모델보다 일관되게 좋은 성능을 보였습니다.
• 중간층이 특히 중요했다. 가장 정보량이 큰 신호는 대체로 모델의 중간층에서 나타났습니다. 테스트한 모델 대부분에서 은닉 상태가 어텐션 값이나 MLP 특징보다 효과적이었으며, 증거의 충분성에 대한 판단이 최종 출력층에만 존재하는 것이 아니라 의미 관계를 구성하는 과정에서 형성될 가능성을 보여줍니다.

의미와 한계

이 연구는 모델에게 단순히 “확신이 있느냐”고 묻는 방식과 다른 신뢰성 관리법을 제안합니다. 자기 확신을 말하도록 하는 프롬프트는 문구와 형식, 그리고 답변을 생성하려는 모델의 경향에 영향을 받을 수 있습니다. 반면 내부 특징으로 학습한 별도의 분류기를 두면 증거 평가와 답변 생성을 분리할 수 있습니다. 실제 시스템에서는 먼저 라우터가 문서 상태를 판단하고, 답변 생성, 추가 검색, 출처 대조, 충돌 알림 중 하나를 선택하도록 구성할 수 있습니다.

다만 이번 평가는 허구 정보를 사용하는 통제된 데이터셋에 기반합니다. 실제 RAG 환경에서는 문서 품질의 차이, 검색 순위 편향, 긴 컨텍스트의 간섭, 도메인 변화가 추가로 발생합니다. 동일한 내부 신호가 개방형 도메인과 운영 환경에서도 안정적으로 작동할지는 더 검증해야 합니다. 따라서 이 라우터를 범용 환각 탐지기로 간주하기보다는 대상 모델과 업무에 맞게 보정해야 합니다.

가장 큰 의미는 신뢰성 판단의 위치를 최종 답변 이후에서 생성 이전의 내부 상태로 확장했다는 점입니다. 모델이 이미 ‘증거가 충분하다’, ‘정보가 부족하다’, ‘주장이 충돌한다’를 내부적으로 표현하고 있다면, 이를 저비용으로 읽어내는 시스템은 무작정 컨텍스트를 늘리는 대신 답하면 안 되는 순간에 멈출 수 있습니다.

출처：arXiv