UEmbed：疎検索と密ベクトルを1つのマルチモーダルデコーダに統合

導入

検索システムでは長く、疎検索と密検索が異なる役割を担ってきた。疎検索は語彙一致、希少語、説明可能性に強く、密ベクトル検索は言い換えや意味的類似性を扱いやすい。RAG やマルチモーダル検索が広がるにつれ、両者を組み合わせるハイブリッド検索は一般的になったが、その一方でモデル、インデックス、ランキング処理、クロスモーダル変換などの構成は複雑になりがちだった。

Alibaba-NLP が提案する UEmbed は、この分断を小さくすることを狙う。UEmbed は Unified Embedding の略で、decoder-only のマルチモーダル埋め込みモデルとして設計されている。特徴は、1回の因果順伝播で疎な語彙表現と密な埋め込み表現の両方を生成できる点にある。

核心ポイント

• 疎と密を同一モデルで生成：UEmbed は、語彙レベルの疎な重みと意味的な密ベクトルを同じモデルから出力する。これにより、下流の検索システムはタスクに応じて両方の信号を組み合わせやすくなる。
• LSR を decoder-only に拡張：学習型疎検索（Learned Sparse Retrieval）は、従来は双方向 encoder 型アーキテクチャと結びつくことが多かった。UEmbed はこの能力を decoder-only のマルチモーダルモデルへ移し、現在の大規模言語モデルやマルチモーダルモデルの流れに近づけている。
• 特殊 token による疎ベクトル構築：モデルは入力の後ろに N 個の学習可能な特殊 token を追加する。同時に語彙を N 個の重ならない部分集合に分け、各特殊 token の因果的な隠れ状態が担当部分の疎重みを予測する。最後にそれらを連結して完全な疎ベクトルを得る。
• テキストとマルチモーダル入力を統一：論文は、UEmbed が疎検索をテキストだけでなくマルチモーダル入力にも広げる点を強調している。これにより、補助的なクロスモーダルモジュールへの依存を減らす可能性がある。
• 複数スケールの公開モデル：研究チームは 2B、4B、9B のモデルを公開している。要約によれば、UEmbed-9B は MMEB-v2 で dense 71.8、sparse 71.0 を記録し、BEIR でも強力な疎・密ベースラインと競争力を保っている。

意義と影響

UEmbed の重要性は、単なるベンチマーク改善だけではない。より大きな意味は、検索システムの設計を単純化できる可能性にある。現在のハイブリッド検索では、疎検索用モデルと密検索用モデルを別々に訓練し、別々のインデックスで運用することが多い。UEmbed のように単一モデルが両方の表現を出せるなら、訓練、推論、評価、運用の一部を統合できるかもしれない。

特にマルチモーダル RAG、文書理解、画像とテキストを横断する検索、エージェントが外部知識を参照するワークフローでは、この統一性が効いてくる。検索器が複数の入力形式と複数の検索信号を扱えることは、実用的な AI システムの構築に直結する。

もちろん、要約だけでは遅延、インデックスサイズ、疎ベクトルの保存コスト、特定ドメインでの適応性までは判断できない。それでも UEmbed は、疎か密かを選ぶのではなく、同一のマルチモーダルモデルに両方を担わせるという方向性を明確に示している。

出典：Hugging Face Daily Papers