AspectCLIP：CLIP の表現空間を「意味の側面」から整える新手法

導入

CLIP 型の事前学習は、画像とテキストを同じ埋め込み空間に配置し、対応するペアを近づけることで強力な視覚言語表現を獲得する。近年の改良では、この空間をより安定させるために一貫性正則化を加えることが多い。しかし AspectCLIP は、そこで見落とされがちな前提に疑問を投げかけている。画像とテキストは、必ずしも対称な情報を持っているわけではない。

一枚の画像には、物体、背景、人物の動作、属性、スタイル、関係性など、多くの記述可能な側面が含まれる。一方でキャプションは、そのうちの一部だけを述べることが多い。そのため、視覚的には似ている二つの画像でも、対応するテキストが注目している意味は大きく異なる場合がある。

核心ポイント

• 画像とテキストの情報非対称性
  論文が重視するのは、キャプションが画像全体を完全に説明するものではなく、特定の側面を切り取った記述になりやすいという点である。この性質を無視すると、視覚的類似性を意味的一貫性と誤って扱うことになる。

• グローバル正則化の副作用
  従来のグローバルな一貫性制約は、見た目が近いサンプル同士に強い幾何的関係を課す。しかし、それぞれのキャプションが別の属性や意味を述べている場合、その制約は表現空間に意味的な歪みを生む可能性がある。

• テキストに基づく属性クラスタリング
  AspectCLIP はまず、テキスト類似性を使って学習サンプルを属性クラスタに分割する。同じクラスタ内のサンプルは、比較的近い意味的側面を記述しているとみなされる。

• クラスタ内では強い一貫性を適用
  属性がそろったクラスタ内では、完全な循環一貫性を適用する。これにより、画像とテキストが同じ側面を表している場合には、厳密な整列を促すことができる。

• クラスタ間では柔軟性を残す
  異なるクラスタ間では、細かなサンプル単位の制約を避け、プロトタイプレベルの比較に限定する。これにより、異なる意味的焦点を持つ記述同士を無理に近づけることを防ぐ。

意義と影響

AspectCLIP の重要性は、CLIP の表現空間を単に滑らかにするのではなく、意味の側面に応じて整理しようとしている点にある。大規模なウェブ由来の画像テキストデータでは、キャプションはしばしば不完全で、主観的で、特定の情報に偏っている。この現実を前提にしなければ、モデルは本来区別すべき意味を混同してしまう。

論文によれば、AspectCLIP は下流タスクで従来手法を一貫して上回り、より構造化された表現空間を実現したという。今後この考え方がさらに検証されれば、視覚言語モデルが曖昧な画像、多義的な記述、部分的なキャプションを扱う際の重要な設計指針になる可能性がある。

出典：arXiv