UEmbed: 희소 검색과 조밀 임베딩을 하나의 멀티모달 디코더로 통합

도입

현대 검색 시스템은 대체로 두 종류의 신호를 함께 활용한다. 희소 검색은 단어 일치, 희귀 엔티티, 역색인 기반 효율성에 강하고, 조밀 검색은 문장 의미나 패러프레이즈를 더 잘 포착한다. RAG와 멀티모달 검색이 확산되면서 두 방식을 결합하는 하이브리드 검색은 점점 중요해졌지만, 그만큼 모델, 인덱스, 랭킹 파이프라인, 크로스모달 모듈을 따로 관리해야 하는 부담도 커졌다.

Alibaba-NLP가 제안한 UEmbed는 이 구조를 단순화하려는 연구다. UEmbed는 Unified Embedding의 약자로, decoder-only 멀티모달 임베딩 모델이다. 핵심은 한 번의 인과적 forward pass에서 희소 어휘 표현과 조밀 임베딩을 동시에 생성한다는 점이다.

핵심 요점

• 희소와 조밀 표현의 통합: UEmbed는 희소 검색 모델과 조밀 임베딩 모델을 별도로 두지 않고, 하나의 모델에서 두 검색 신호를 모두 출력한다. 이를 통해 downstream 검색 시스템은 어휘 기반 매칭과 의미 기반 매칭을 더 쉽게 조합할 수 있다.
• decoder-only 구조에서의 LSR: Learned Sparse Retrieval은 기존에 양방향 encoder 계열 구조에 많이 의존했다. UEmbed는 이 기능을 decoder-only 멀티모달 모델로 확장해, 현재 대형 언어 모델 및 멀티모달 모델의 주류 아키텍처와 더 가깝게 만든다.
• 특수 토큰 기반 희소 벡터 예측: 모델은 입력 뒤에 N개의 학습 가능한 특수 토큰을 추가한다. 그리고 전체 어휘를 N개의 겹치지 않는 부분집합으로 나눈다. 각 특수 토큰의 인과적 hidden state는 자신에게 할당된 어휘 부분의 희소 가중치를 예측하고, 이 결과를 이어 붙여 전체 희소 벡터를 만든다.
• 텍스트와 멀티모달 입력 지원: 논문은 UEmbed가 희소 검색을 텍스트뿐 아니라 멀티모달 입력까지 확장한다고 설명한다. 이는 기존 멀티모달 검색에서 자주 필요했던 보조 크로스모달 모듈 의존도를 낮출 수 있는 방향이다.
• 여러 규모의 공개 모델: 연구진은 공개 데이터로 학습한 2B, 4B, 9B 모델을 공개했다. 초록에 따르면 UEmbed-9B는 MMEB-v2에서 dense 71.8, sparse 71.0을 달성했으며, BEIR에서도 강한 희소·조밀 baseline과 경쟁력 있는 성능을 보였다.

의미와 영향

UEmbed의 의미는 단순한 점수 향상보다 시스템 설계 관점에서 더 크다. 실제 검색과 RAG 서비스는 희소 검색의 정확한 단어 회수 능력과 조밀 검색의 의미 일반화 능력을 모두 필요로 한다. 하지만 두 체계를 따로 운영하면 학습, 배포, 인덱싱, 평가가 복잡해진다. 하나의 모델이 두 표현을 함께 제공한다면 하이브리드 검색의 운영 비용과 구성 복잡도를 낮출 가능성이 있다.

특히 멀티모달 RAG, 문서 이해, 이미지-텍스트 검색, 에이전트가 외부 지식베이스를 조회하는 워크플로에서 이런 통합성은 중요하다. 에이전트형 AI가 실제로 유용하려면 다양한 입력 형식을 검색 가능한 표현으로 바꾸고, 상황에 맞는 검색 신호를 선택할 수 있어야 하기 때문이다.

다만 초록만으로는 지연 시간, 인덱스 저장 비용, 희소 벡터 차원 관리, 사내 도메인 데이터에서의 성능 같은 실무 쟁점을 모두 판단하기 어렵다. 그럼에도 UEmbed는 중요한 방향을 제시한다. 희소 검색과 조밀 검색을 경쟁 관계로 두기보다, 하나의 멀티모달 모델 안에서 함께 생성하고 활용하는 방식이다.

출처: Hugging Face Daily Papers