LAMAR: 다국어 RAG 재순위화에 언어 일관성을 더하다

들어가며

다국어 검색 증강 생성(RAG) 시스템에서는 검색기가 여러 언어로 작성된 관련 문서를 함께 가져올 수 있습니다. 이후 재순위화 모델은 이 후보들 가운데 어떤 문서를 상위에 둘지 결정하고, 상위 문서는 답변 생성 모델의 컨텍스트로 전달됩니다. 기존 다국어 재순위화는 주로 문서가 질의와 의미적으로 얼마나 관련 있는지를 판단하는 데 초점을 맞춰 왔습니다.

LAMAR 연구는 이 과정에서 자주 간과되는 요소를 짚습니다. 바로 문서의 언어가 질의의 언어와 일치하는지입니다. 의미적으로 거의 같은 후보 문서가 여러 언어로 존재할 때, 기존 다국어 재순위화 모델은 질의와 같은 언어의 문서를 항상 안정적으로 우선하지는 않는다고 분석합니다. 하지만 어떤 언어의 문서가 생성 모델에 들어가는지는 최종 답변의 품질과 표현에 영향을 줄 수 있습니다.

핵심 내용

• 문제의식: 관련성만으로는 부족하다
  다국어 검색에서는 한국어 질의에 대해 한국어 문서뿐 아니라 영어, 일본어, 중국어 문서가 함께 검색될 수 있습니다. 내용이 비슷하다면 어떤 문서를 먼저 전달할지가 중요해집니다. 기존 모델은 의미적 관련성은 보지만, 언어적 적합성을 일관된 기준으로 반영하지 못할 수 있습니다.

• LAMAR의 목표: 의미 관련성과 언어 일관성의 결합
  LAMAR는 언어를 인식하는 다국어 cross-encoder 재순위화 모델로 제안됐습니다. 단순히 같은 언어의 문서를 무조건 위로 올리는 방식이 아니라, 의미적 관련성을 유지하면서 질의와 같은 언어로 작성된 문서를 더 선호하도록 학습됩니다.

• 학습 방식: 관련성 증류와 선호 정렬
  먼저 영어를 앵커로 삼은 관련성 증류를 통해 다국어 입력 전반에서 일관된 관련성 점수를 형성합니다. 이어서 언어 일관성을 위한 선호 정렬을 적용해, 질의와 같은 언어의 문서가 더 높은 순위를 받을 수 있도록 유도합니다.

• 평가 결과: 언어 일관성 실험에서 우수
  언어 일관성을 평가하기 위해 설계된 통제 실험에서 LAMAR는 전체적으로 가장 좋은 성능을 보였고, 개별적으로 살펴본 모든 언어에서도 최상의 결과를 달성했다고 보고됩니다. 또한 기존 다국어 재순위화 벤치마크에서도 경쟁력을 유지했습니다.

의미와 영향

LAMAR가 던지는 메시지는 명확합니다. 다국어 RAG에서 좋은 검색 결과란 단순히 관련 있는 문서가 아니라, 생성 단계에 가장 적합한 형태의 문서일 수 있습니다. 사용자가 특정 언어로 질문했다면, 같은 언어의 근거 문서를 우선하는 것이 더 자연스럽고 일관된 답변 생성에 도움이 될 가능성이 있습니다.

글로벌 검색 서비스, 기업 지식베이스, 다국어 고객 지원, 국제 사용자를 대상으로 한 AI 비서에서는 이런 언어 일관성이 실제 사용자 경험과 연결됩니다. 재순위화는 검색과 생성 사이의 단순한 보조 단계가 아니라, 생성 모델이 어떤 증거를 어떤 언어로 보게 할지를 결정하는 중요한 제어 지점입니다.

제공된 초록에는 모델 규모, 학습 데이터, 세부 수치 지표는 포함되어 있지 않습니다. 따라서 재현성이나 실제 배포 비용을 판단하려면 논문 본문 확인이 필요합니다. 그럼에도 LAMAR는 다국어 RAG에서 언어 일관성을 명시적인 순위화 목표로 다뤄야 한다는 방향을 분명히 보여줍니다.

출처: Hugging Face Daily Papers