RAG 검색, 이제는 ‘관련 문서’가 아니라 ‘좋은 문서 묶음’을 봐야 한다

도입

전통적인 검색 랭킹은 사람이 결과 목록을 읽는 상황을 전제로 했다. 사용자는 여러 페이지를 열어 보고, 중복된 정보나 서로 다른 주장을 직접 판단할 수 있다. 그러나 RAG와 AI 에이전트 환경에서는 검색 결과를 읽는 주체가 점점 대규모 언어 모델로 바뀌고 있다. 이때 생성 답변의 상한은 모델에 전달되는 문서 집합이 얼마나 좋은 증거 묶음인지에 달려 있다.

논문 “Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking”은 바로 이 지점을 다룬다. 개별 문서가 질의와 관련이 높더라도, 전체 집합으로는 좋은 입력이 아닐 수 있다. 같은 내용을 반복하거나, 핵심 관점을 빠뜨리거나, 문서끼리 충돌하는 정보를 담을 수 있기 때문이다.

핵심 내용

• 개별 관련도에서 집합 품질로 전환: 기존 평가는 각 문서를 독립적으로 점수화한 뒤 nDCG 같은 지표로 합치는 방식이 많다. 하지만 이 방식은 문서 간 중복, 충돌, 상호 보완 관계를 충분히 반영하지 못한다.
• SetwiseEvalKit 제안: 논문은 짧은 형식과 긴 형식 시나리오를 모두 포함하는 문서 집합 평가 벤치마크를 제시한다. 이 벤치마크는 3단계, 9개 차원으로 구성되며 약 2만8000개의 고품질 평가 rubric을 포함한다.
• 기존 reranker의 한계: 저자들은 12개 reranker를 체계적으로 평가했다. 그 결과, 가장 좋은 방법도 coverage가 45%를 넘지 못했고, 문서 간 조율이 필요한 차원은 전반적으로 취약했다.
• 모든 상황에 강한 단일 방법은 없음: 짧은 형식과 긴 형식 설정 모두에서 꾸준히 최고 성능을 유지하는 단일 방법은 확인되지 않았다. 생성 과제의 길이와 목적에 따라 필요한 문서 집합의 성격이 달라진다는 뜻이다.
• Rubric4Setwise: 논문은 rubric 기반 평가 기준을 문서 집합 선택 신호로 변환하는 학습 불필요 방법을 제안한다. 저자들에 따르면 이 방법은 더 적은 문서와 검색 라운드로도 더 나은 하위 생성 성능을 달성했다.

의미와 영향

이 연구의 가치는 RAG 시스템에서 자주 발생하는 실패를 더 정확히 설명한다는 데 있다. 검색 점수만 보면 결과가 좋아 보이지만, 실제 컨텍스트에는 비슷한 문서가 반복되거나 중요한 근거가 빠져 있거나 출처 간 주장이 충돌하는 경우가 많다. 개별 문서 관련도 중심 지표는 이런 문제를 잘 드러내지 못한다.

SetwiseEvalKit은 선택된 문서들이 함께 증거로 작동하는지를 평가한다. 이는 사람이 보는 검색 목록이 아니라, 모델이 읽고 답을 생성하는 입력 컨텍스트를 최적화해야 하는 RAG 환경에 더 적합한 관점이다.

Rubric4Setwise는 한 걸음 더 나아가 평가 기준을 실제 선택 과정에 되돌려 넣는다. 즉 rubric을 사후 채점 도구로만 쓰는 것이 아니라, 어떤 문서를 가져올지 결정하는 신호로 활용한다. 이는 평가, 진단, 최적화를 하나의 루프로 연결하려는 시도다.

다만 실제 적용에서는 rubric 생성의 안정성과 비용이 중요해질 수 있다. 소재에 포함된 저자 답변에 따르면 rubric은 질의별로 만들어지며, 질의와 답변 페이지를 활용한다. 이는 맞춤형 평가에 유리하지만, 법률 검색, 코드 검색, 기업 지식 검색처럼 도메인이 달라질 때 얼마나 일관되게 작동할지는 별도 검토가 필요하다.

전체적으로 이 논문은 RAG 검색을 단순한 관련도 정렬이 아니라 생성에 필요한 증거 집합 구성 문제로 재정의한다. AI 에이전트가 여러 출처를 읽고 판단하는 상황이 늘어날수록, 더 적고, 더 완결적이며, 덜 중복되고, 서로 보완적인 문서 집합을 고르는 능력이 핵심 경쟁력이 될 가능성이 크다.

출처: Hugging Face Daily Papers