시각 생성에서 텍스트 조건은 어떻게 스케일링되는가

들어가며

텍스트-이미지 생성 연구에서는 보통 모델 크기, 데이터 규모, 샘플링 방식, 아키텍처가 중심 주제가 된다. Scaling Properties of Text Conditioning in Visual Generation 은 여기에 다른 질문을 던진다. 모델에 주어지는 텍스트 조건 자체도 스케일링 법칙을 가질 수 있을까? 저자들은 자연어 프롬프트의 token 수가 늘어난다고 확산 손실이 단순히 좋아지는 것은 아니지만, 프롬프트 안의 구조화된 언어 정보가 많아질수록 수렴한 확산 손실이 규칙적으로 변한다고 주장한다.

핵심 내용

• 프롬프트 길이보다 구조가 중요하다. 긴 문장이 항상 좋은 조건은 아니다. 모델이 학습할 수 있는 속성, 의미 관계, 공간 배치, 기하 정보가 얼마나 명확히 담겨 있는지가 더 중요한 신호로 제시된다.
• 두 가지 지표로 구조화 정도를 측정한다. 논문은 화이트박스 가능도 기반 지표인 GPG와 블랙박스 속성 지표인 ED를 사용한다. 하나는 모델 내부 확률 관점에 가깝고, 다른 하나는 외부 속성 평가 관점에서 프롬프트의 정보량을 본다.
• 경험적 스케일링 관계를 보고한다. 통제된 학습 실험에서 수렴한 확산 손실은 GPG가 증가할수록 거의 선형적으로 감소하고, ED와는 멱법칙 관계를 보인다고 설명한다.
• 관찰을 시스템 개선으로 연결한다. 저자들은 이미지에서 얻은 의미 및 기하 주석을 활용해 구조화 프롬프트를 만들고, 이를 통해 diffusability를 높인다. 또한 지도 미세조정, cold-start, verifier-gated on-policy distillation을 통해 prompter를 학습시켜 promptability를 개선한다.

의미와 영향

이 연구의 핵심 의미는 프롬프트를 단순한 추론 시 입력이 아니라, 학습 과정에서 최적화할 수 있는 변수로 본다는 점이다. 구조화 언어가 확산 손실을 안정적으로 낮춘다면, 이미지 캡션 생성, 주석 설계, 이미지 이해 모듈, 자동 프롬프트 생성기는 모두 시각 생성 모델의 성능을 좌우하는 핵심 구성요소가 된다.

논문은 최종 시스템이 평가된 오픈웨이트 모델을 대부분의 구성성, 추론, 세계지식 벤치마크에서 앞서며, 여러 평가에서 강력한 폐쇄형 모델과 비슷하거나 더 나은 결과를 보였다고 밝힌다. 다만 제공된 소재에는 세부 수치나 전체 표가 포함되어 있지 않으므로, 성능 비교는 원문을 통해 확인할 필요가 있다. 그럼에도 텍스트 조건의 품질을 새로운 스케일링 축으로 제안했다는 점은 확산 모델 연구에 중요한 시사점을 준다.

출처: Hugging Face Daily Papers