이미지를 이해하는 일과 이미지를 생성하는 일은 모델에 서로 다른 능력을 요구합니다. 이해에는 언어와 정렬된 의미 표현이 중요하지만, 생성에는 세밀한 공간 구조와 픽셀 정보도 필요합니다. 이에 따라 일부 통합 모델은 작업마다 시각 표현이나 백본 계산을 분리합니다. 서로 다른 요구를 수용하기 쉽지만, 공유되는 표현과 파라미터의 범위는 줄어들 수 있습니다. HiUni는 사전학습된 비전-언어 모델을 바탕으로 이해와 생성을 더 많은 계산을 공유하는 하나의 틀에 담을 수 있는지 살펴봅니다.
핵심 설계는 공유 백본과 서로 다른 출력 경로입니다. HiUni는 언어와 정렬된 Vision Transformer(ViT)와 밀집 Transformer 백본을 시각 이해, 이미지 생성, 편집에 공통으로 사용합니다. 작업별 차이는 주로 출력 단계에 둡니다. 언어 모델링 헤드는 이해를 처리하고, Pixel Diffusion Head는 이미지를 합성합니다. 생성 전용의 별도 백본을 만드는 대신, 공통 네트워크가 만든 표현을 작업에 맞는 출력 모듈로 전달하는 구조입니다.
이 설계에는 두 가지 과제가 따릅니다. 첫째, 픽셀 공간에서 이미지 생성을 직접 최적화하기 어렵습니다. 둘째, 사전학습된 ViT의 표현은 의미적으로 추상화되는 경향이 있어, 시각 정보 압축 과정에서 생성에 필요한 세밀한 공간 단서가 약해질 수 있습니다. HiUni는 첫 번째 문제를 위해 픽셀 공간 최적화에 맞춘 Pixel Diffusion Head를 도입합니다. 두 번째 문제에는 출력에 가까운 단계에서 국소 공간 정보를 공급하는 가벼운 잔차 경로 HiGate를 사용합니다. 제공된 설명에 따르면 HiGate는 대규모 작업별 백본을 추가하는 대신, 공유된 의미 표현에 세부 단서를 보태는 역할을 합니다.
보고된 결과와 의미. 저자들은 HiUni의 평균 이해 점수가 사전학습된 비전-언어 모델과 비슷하고, 이미지 생성과 편집에서도 경쟁력 있는 성능을 얻었다고 보고합니다. 통제된 비교와 분석은 작업 전용 백본 계산 없이 하나의 밀집 백본으로 두 능력을 지원할 가능성도 보여준다고 설명합니다. 다만 제공된 자료에는 구체적인 벤치마크, 점수, 계산 비용이 없습니다. 따라서 분리형 구조보다 모든 작업에서 우월하다고 단정할 근거는 부족합니다.
이 접근의 의미는 통합을 모든 작업이 똑같은 처리를 거치는 것으로 보지 않는 데 있습니다. 핵심 시각 표현과 백본을 공유하되, 출력 단계에는 작업별 모듈을 둘 수 있습니다. 더 다양한 과제에서도 이런 구성이 성립한다면 중복된 구조를 줄이고 이해와 생성 사이의 지식 공유를 직접적으로 만들 가능성이 있습니다. 반면 공유 표현이 서로 다른 목표에 얼마나 잘 적응하는지, 경량 경로만으로 생성에 필요한 공간 정보를 충분히 보완할 수 있는지는 계속 검증해야 할 과제입니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…