AspectCLIP, CLIP의 표현 공간을 ‘의미의 측면’별로 정렬하다

들어가며

CLIP 계열 사전학습은 이미지와 텍스트를 하나의 공유 표현 공간에 배치해, 서로 맞는 쌍은 가깝게, 맞지 않는 쌍은 멀게 만드는 방식으로 작동한다. 이후 많은 연구는 이 공간을 더 안정적으로 만들기 위해 일관성 정규화를 추가해 왔다. 하지만 AspectCLIP은 여기서 중요한 문제를 제기한다. 이미지와 텍스트는 같은 양의 정보를 담고 있지 않다.

하나의 이미지는 객체, 배경, 행동, 속성, 스타일, 관계 등 여러 의미적 측면을 포함한다. 반면 캡션은 보통 그중 하나 또는 일부만 설명한다. 따라서 시각적으로 비슷한 두 이미지라도, 각 이미지에 붙은 텍스트가 전혀 다른 의미에 집중할 수 있다. 이런 상황에서 전역 정규화가 시각적 유사성을 의미적 일관성으로 간주하면, 표현 공간에 불필요한 왜곡이 생길 수 있다.

핵심 내용

• 문제의 출발점은 정보 비대칭성
  논문은 캡션이 이미지 전체의 완전한 설명이 아니라 특정 측면을 선택적으로 기술하는 경우가 많다고 본다. 이 때문에 하나의 이미지가 여러 텍스트 해석과 연결될 수 있는 일대다 구조가 만들어진다.

• 전역 일관성의 한계
  기존의 전역 일관성 정규화는 시각적으로 가까운 샘플 사이에 강한 기하학적 제약을 줄 수 있다. 그러나 캡션이 서로 다른 속성이나 의미를 설명한다면, 이러한 제약은 오히려 의미 구분을 흐릴 수 있다.

• 텍스트 유사도 기반 속성 클러스터
  AspectCLIP은 먼저 텍스트 유사도를 이용해 학습 샘플을 속성 클러스터로 나눈다. 같은 클러스터에 속한 샘플은 비슷한 의미적 측면을 설명한다고 간주된다.

• 클러스터 내부에서는 강한 정렬
  같은 속성 클러스터 내부에서는 완전한 순환 일관성을 적용한다. 이미지와 텍스트가 같은 측면을 가리키는 경우에는 더 엄격한 기하학적 정렬을 학습하도록 하는 것이다.

• 클러스터 간에는 프로토타입 비교로 제한
  서로 다른 클러스터 사이에서는 샘플 단위의 강한 제약을 피하고, 프로토타입 수준의 비교만 수행한다. 이를 통해 의미적 초점이 다른 설명들 사이에는 필요한 유연성을 남긴다.

의미와 영향

AspectCLIP의 의의는 CLIP 표현 공간을 단순히 더 매끄럽게 만드는 것이 아니라, 텍스트가 지칭하는 의미의 측면에 맞게 정렬하려 한다는 데 있다. 대규모 웹 이미지-텍스트 데이터에서는 캡션이 불완전하고 주관적이며 특정 정보에 치우치는 경우가 많다. 이러한 현실을 반영하지 않으면, 모델은 서로 다른 의미를 같은 것으로 처리할 위험이 있다.

논문에 따르면 AspectCLIP은 다운스트림 과제에서 기존 방법을 지속적으로 앞섰고, 더 구조화된 표현 공간을 형성했다. 이 접근이 더 넓은 환경에서 검증된다면, 향후 비전-언어 모델이 모호한 이미지, 부분적인 캡션, 다의적인 시각 정보를 다루는 방식에 중요한 단서를 제공할 수 있다.

출처: arXiv