이미지 생성은 통합 멀티모달 모델의 지식을 확장할 수 있을까

들어가며

통합 멀티모달 모델은 이미지 이해, 이미지 생성, 언어 처리를 하나의 시스템 안에서 수행하도록 설계됩니다. 그러나 모델이 여러 작업을 수행할 수 있다는 사실만으로는 충분하지 않습니다. 이미지 생성 학습을 통해 텍스트 데이터에 충분히 기록되지 않은 정보까지 새롭게 습득할 수 있는지, 그리고 그렇게 얻은 정보를 나중에 언어로 꺼내 사용할 수 있는지가 더 근본적인 질문입니다.

Hugging Face Daily Papers에 소개된 이번 연구는 이 문제를 통제된 방식으로 검증했습니다. 그럴듯한 이미지를 생성한다는 사실을 곧바로 이해의 증거로 간주하지 않고, 이미지에서 사실을 재현하는 능력과 텍스트로 지식을 검색하는 능력을 분리해 살펴봤습니다.

지식 전이를 측정하는 방법

연구진은 **Knowledge Transfer Probing(KTP)**이라는 평가 프로토콜을 제안했습니다. 이미지 생성 학습 단계에서 모델에 새로운 사실을 제공한 뒤, 이후에는 텍스트만 사용하는 질문응답으로 해당 지식을 불러낼 수 있는지 테스트합니다. 이를 통해 시각적 감독이 다른 모달리티의 출력으로 실제 전이됐는지 확인할 수 있습니다.

세 가지 통합 멀티모달 모델과 일곱 개 지식 범주를 대상으로 한 결과, 시각 정보에서 언어로의 전이는 분명히 존재했지만 균일하지 않았습니다. 모델은 이미지 안에서 특정 사실을 올바르게 표현할 수 있어도, 같은 사실을 말로 정확하게 답하지 못하는 경우가 많았습니다. 이는 지식이 모델 내부 표현에 저장되어 있더라도 언어 생성 경로에서 안정적으로 접근되지 않을 수 있음을 보여줍니다.

정렬 방식이 만드는 차이

연구는 이 격차를 줄이기 위해 두 가지 학습 방식을 추가로 도입했습니다. 텍스트 정렬은 생성 작업과 질문응답을 공유된 지식으로 연결합니다. 이미지·텍스트 교차 정렬은 한 단계 더 나아가 이미지와 텍스트 응답이 번갈아 나타나는 방식으로 학습시켜, 모델이 모달리티 사이에서 지식을 조정하도록 합니다.

특히 교차 정렬은 평균 질문응답 정확도를 높였고, 직접적인 QA 감독을 받지 않은 엔터티에도 개선 효과를 보였습니다. 일부 엔터티에 대한 지도가 다른 엔터티의 지식 접근성을 높일 수 있다는 결과는, 모델이 단순히 질문과 답변 쌍을 암기한 것만은 아닐 가능성을 보여줍니다.

의미와 남은 과제

이번 연구는 이미지 생성 데이터가 단순히 이미지를 만드는 훈련 재료가 아니라, 텍스트만으로는 충분히 표현하기 어려운 정보를 담은 지식원이 될 수 있음을 시사합니다. 다만 이미지에서 사실을 올바르게 묘사하는 능력과 언어로 정확히 설명하는 능력 사이에는 여전히 상당한 간극이 있습니다.

따라서 앞으로는 시각 데이터의 양만 늘리는 것보다 이미지·텍스트 데이터의 설계, 교차 모달 감독, 지식 평가 방식을 함께 개선해야 합니다. 모델 구조 역시 공유 표현에 들어간 지식을 원하는 출력 모달리티로 안정적으로 전달할 수 있어야 합니다.

평가 관점에서도 한 가지 채널만 보는 방식은 한계가 있습니다. 이미지 품질이나 텍스트 QA 점수만으로는 모델이 실제로 어떤 지식을 보유하고 있는지 충분히 알기 어렵습니다. 동일한 사실을 이미지와 언어 양쪽에서 접근할 수 있는지 함께 측정해야 멀티모달 지식의 강점과 병목을 구분할 수 있습니다.

출처：Hugging Face Daily Papers