대규모 RAG에서 BM25가 강한 이유: 검색 패러다임 확장성 연구

들어가며

RAG 시스템을 설계할 때 검색 단계에는 여러 선택지가 있다. 전통적인 BM25 같은 어휘 기반 검색, 임베딩을 활용한 밀집 검색, 그래프 인덱싱, 그리고 에이전트가 파일 시스템처럼 순차적으로 탐색하는 방식까지 다양하다. 하지만 기존 비교는 서로 다른 벤치마크나 하나의 고정된 코퍼스 크기에서 이뤄지는 경우가 많아, 실제 코퍼스가 커질 때 어떤 방식이 더 잘 확장되는지 판단하기 어려웠다.

논문 “BM25 Wins at Scale”은 이 질문을 정면으로 다룬다. 연구진은 코퍼스 크기를 28개의 엄격히 중첩된 단계로 구성했고, 전체 범위는 약 450배에 달한다. 동시에 질문 세트와 관련 문서 및 적대 문서의 고정 기반은 유지했다. 하나의 독자 모델과 동일한 판정 프로토콜을 사용해 공식 정확도, 구축 및 쿼리 토큰, 지연 시간을 함께 측정했다.

핵심 내용

• 승자는 규모에 따라 달라진다. 가장 작은 공유 단계에서는 File-System Agent가 앞섰다. 탐색 공간이 작을 때는 순차적으로 문서를 살피는 방식이 의미 있는 정보를 찾는 데 도움이 된다.
• 에이전트형 탐색은 비용이 크다. 기반 단계에서 File-System Agent는 39배 더 많은 쿼리 토큰을 사용했다. 코퍼스가 커질수록 순차 탐색만으로 충분한 후보를 찾기 어려워져 성능도 약해졌다.
• 약 1천만 코퍼스 토큰 부근에서 BM25가 역전한다. 이 지점 이후 BM25는 더 큰 모든 공유 단계에서 우위를 유지했으며, 전체 규모에서는 격차가 거의 20포인트에 가까워졌다.
• BM25는 저비용 Pareto 전선의 기준점이다. LLM 기반 구축 과정이 필요 없기 때문에 인덱싱과 질의 비용을 비교적 예측 가능하게 관리할 수 있다.
• 밀집 검색은 효율적이지만 정확도에서 밀렸다. 연구 설정에서는 효율성의 장점에도 불구하고 BM25보다 낮은 정확도를 보였다.
• 그래프 기반 RAG는 구축 장벽을 만난다. 일부 그래프 방식은 배포 규모에 도달하기 전에 구축 비용의 한계에 부딪혔고, 확장 가능한 변형도 공유 단계에서 BM25를 넘지 못했다.

의미와 영향

이 연구가 말하는 것은 “BM25가 항상 모든 상황에서 최고”라는 단순한 결론이 아니다. 더 중요한 메시지는 코퍼스 규모가 커지면 RAG 방식 간 우열이 달라진다는 점이다. 작은 코퍼스에서는 에이전트의 탐색과 추론이 효과적일 수 있지만, 큰 코퍼스에서는 전체 후보를 빠르게 정렬하는 전역 검색 능력이 더 중요해진다.

실무 관점에서 이는 꽤 직접적인 시사점을 준다. 복잡한 에이전트, 그래프 인덱스, 비싼 구축 파이프라인을 기본값으로 삼기 전에 BM25 같은 어휘 검색을 강력한 기준선으로 확인해야 한다. 특히 대규모 문서 검색, 기업 지식베이스, 장문 QA 시스템에서는 정확도뿐 아니라 구축 비용, 쿼리 토큰, 지연 시간까지 함께 봐야 한다.

현실적인 설계는 에이전트가 검색 전체를 대체하는 방식이 아니라, 먼저 BM25로 넓은 후보를 찾고 이후 에이전트나 독자 모델이 좁혀진 범위에서 추론·재정렬·답변 생성을 수행하는 구조일 수 있다. RAG 평가는 단일 점수보다 확장될 때의 비용과 성능 곡선을 함께 봐야 한다.

출처: Hugging Face Daily Papers