언어 사전학습 없이 텍스트-이미지 생성을 학습하는 Halcyon

배경

최근 텍스트-이미지 생성 시스템은 인터넷 규모의 텍스트로 언어 모델을 먼저 사전학습한 뒤, 그 언어 능력을 이미지 생성 모듈과 결합하는 경우가 많다. 스탠퍼드 연구진의 새 논문은 이미지 생성이 최종 목표일 때도 이런 언어 사전학습이 정말 필요한지 다시 묻는다.

논문이 제안한 Halcyon은 기존 대규모 언어 모델을 사용하지 않고 완전히 처음부터 학습하는 멀티모달 자기회귀 모델 제품군이다. 학습에는 1억 개의 이미지-텍스트 쌍으로 구성된 GPIC 데이터셋이 사용됐다.

방법과 주요 결과

Halcyon은 초기 융합 멀티모달 구조를 채택한다. 이미지와 텍스트를 별도로 처리한 뒤 마지막 단계에서 합치는 대신, 비교적 이른 단계부터 하나의 모델링 과정에 함께 입력한다. 이를 통해 이미지 토큰과 언어 사이의 대응 관계를 쌍으로 된 데이터에서 직접 학습하는 것이 핵심이다.

논문이 제시한 주요 비교는 다음과 같다.

• Halcyon-0.52B는 gFD 48.0을 기록했으며, LlamaGen-XL/8의 63.3과 비교됐다. 논문은 Halcyon의 사전학습 계산량이 18.2배 적었다고 보고한다.
• Halcyon-1.6B의 gFD는 35.3으로, JiT-T2I-XXL/8++의 41.0과 비교됐다. 이 실험에서는 사전학습 계산량을 275배 줄였다고 제시한다.
• 통제 실험에서 텍스트 전용 사전학습을 추가해도 텍스트-이미지 생성 성능은 개선되지 않았다.

gFD는 논문이 생성 품질을 비교하기 위해 사용한 지표다. 따라서 위 수치는 해당 논문의 평가 설정 안에서 이해해야 하며, 모든 이미지 생성 시스템에 적용되는 보편적인 순위를 의미하지는 않는다.

Halcyon은 이미지 캡셔닝도 학습할 수 있다. 연구진은 학습 예산을 단순히 늘리는 대신 caption dropout을 이미지-텍스트 변환, 즉 I2T 감독 신호로 대체했다. 논문에 따르면 같은 사전학습 예산에서 캡셔닝 능력을 추가하면서도 경쟁력 있는 텍스트-이미지 생성 품질을 유지했다.

의미와 한계

이 연구의 핵심 의미는 텍스트-이미지 시스템이 의존해 온 자원 구성을 재검토하게 만든다는 점이다. 목표가 이미지와 텍스트의 생성 및 변환에 집중돼 있다면, 범용 언어 모델을 먼저 만드는 것보다 대규모 이미지-텍스트 쌍을 직접 학습하는 방식이 더 목적 지향적일 수 있다.

다만 이 결과가 모든 상황에서 언어 사전학습이 불필요하다는 뜻은 아니다. 결론은 특정 구조와 데이터, 평가 조건에 기반하며, GPIC 자체도 매우 큰 데이터셋이다. 데이터 품질, 캡션 다양성, 복잡한 지시 이해, 이미지 편집과 조합적 프롬프트에 대한 일반화는 추가 검증이 필요하다.

앞으로는 초기 융합 구조가 더 많은 작업으로 확장될 때도 효율성을 유지할 수 있는지, 그리고 이미지-텍스트 양방향 학습이 별도의 언어 기반 모델 없이 얼마나 발전할 수 있는지가 중요한 과제가 될 것이다.

출처: Hugging Face Daily Papers