멀티모달 비전 인코딩의 재구성: 사전학습보다 전용 시각 용량이 중요하다

들어가며

멀티모달 언어 모델이 이미지를 어떻게 인코딩해야 하는지는 아직 논쟁적이다. 일반적인 구조는 별도로 사전학습한 비전 인코더를 사용하고, 그 결과를 언어 모델에 전달한다. 최근에는 비전 구성 요소를 언어 백본과 함께 처음부터 학습하거나, 독립적인 비전 인코더를 아예 제거하려는 접근도 등장했다.

하지만 기존 모델을 직접 비교하면 데이터, 아키텍처, 모델 규모, 학습 예산이 함께 달라지는 경우가 많다. 따라서 성능 차이가 어떤 설계 요소에서 비롯됐는지 확인하기 어렵다. 연구 논문 Unbundling Multimodal Vision Encoding은 비전 인코더에 함께 묶여 있던 세 가지 요소를 분리했다. 상위 단계 사전학습에서 얻는 시각적 사전지식, 시각 처리에만 배정되는 전용 용량, 그리고 이 용량이 멀티모달 융합 이전에 배치되는지 여부다.

통제된 비교의 결과

연구진은 공통 데이터로 여러 모델을 처음부터 사전학습하고, 생애 전체 계산량을 맞춰 비교했다. 평가에는 시각 질의응답과 언어 벤치마크가 포함됐다. 또한 백본 크기, 비전 인코더 사전학습을 무료로 간주하는 조건, 사전학습된 언어 모델에서 시작하는 조건도 살펴봤다.

핵심 결과는 다음과 같다.

• 시각적 사전학습은 필수 조건이 아니었다. 언어 모델과 함께 처음부터 학습한 인코더는 사전학습된 인코더와 비슷한 성능을 보였다. 강력한 멀티모달 모델을 만들기 위해 반드시 별도의 비전 사전학습 단계를 거칠 필요는 없다는 의미다.
• 전용 시각 용량은 여전히 중요했다. 비전 인코더를 없애고 그 파라미터 수만큼 백본을 키워도 시각 이해 성능은 뒤처졌다. 격차는 OCR과 차트 벤치마크에서 특히 두드러졌고, 다른 VQA 범주에서도 확인됐다. 학습을 더 진행하면 차이가 일부 줄어들지만 완전히 사라지지는 않았다.
• 시각 용량은 융합 전에만 둘 필요가 없었다. 시각 정보만 처리하는 모듈을 백본 초기 계층에 삽입하면 기존의 사전 융합 인코더와 비슷한 성능을 낼 수 있었다. 동시에 첫 토큰이 생성될 때까지의 시간을 줄일 가능성도 제시됐다.

의미와 영향

이 결과는 “먼저 독립적인 비전 인코더에서 시각 지식을 만든 뒤 언어 모델과 연결해야 한다”는 통념을 다시 생각하게 한다. 더 중요한 조건은 시각 입력을 전담할 수 있는 충분한 용량을 확보하는 것으로 보인다. 이 용량은 언어 백본과 공동 학습할 수 있고, 표현 형성이 시작되는 초기 단계에서 언어 정보와 상호작용하도록 배치할 수도 있다.

모델 개발 측면에서 이는 더 유연한 설계 공간을 제공한다. 공동 학습은 별도의 비전 사전학습 단계를 줄여 개발 파이프라인을 단순화할 수 있다. 초기 계층에 시각 모듈을 넣는 방식은 전문적인 시각 계산을 유지하면서 추론 시작 지연을 개선할 가능성이 있다.

다만 시각 전용 구조를 삭제해도 비용이 없다는 뜻은 아니다. 이미지 속 글자를 읽거나 차트를 해석하는 세밀한 작업에서는 범용 언어 백본의 크기만 늘리는 방식이 충분한 대안이 되지 못했다. 따라서 이 연구의 결론은 사전학습 비전 인코더가 쓸모없다는 것이 아니다. 사전학습에서 얻은 시각적 사전지식보다 전용 용량과 그 배치가 성능에 더 직접적인 영향을 줄 수 있다는 점이 핵심이다.

출처: Hugging Face Daily Papers