WeLM-Image, 이미지 이해·생성·편집을 하나로 통합

배경

이미지 생성 모델은 이제 프롬프트에 맞는 그림을 만드는 것만으로 충분하지 않습니다. 사용자는 참조 이미지를 제공하고, 특정 요소를 수정하며, 여러 이미지를 하나의 결과물로 결합하기를 기대합니다. WeLM-Image는 이미지 이해, 텍스트 기반 생성, 지시형 편집, 다중 참조 합성을 하나의 이미지 파운데이션 모델에 통합하려는 접근입니다.

하나의 시퀀스와 선택적 파라미터 공유

WeLM-Image는 텍스트, 참조 이미지, 생성 대상 잠재 표현을 하나의 인터리브 시퀀스로 구성합니다. 이 방식은 이해와 생성을 서로 분리된 도구로 연결하는 대신, 하나의 멀티모달 처리 틀 안에서 함께 다루도록 합니다.

핵심인 Mixture-of-Transformers（MoT）구조는 어텐션을 공유하면서도 이해 경로와 생성 경로에 독립 파라미터를 배치합니다. 시각 정보를 해석하는 작업과 새로운 이미지를 합성하는 작업이 학습 과정에서 서로 지나치게 간섭하는 문제를 줄이려는 설계입니다.

각 경로에는 Mixture-of-Experts（MoE）모듈도 적용됩니다. 필요한 전문가만 희소하게 활성화해 전체 용량은 키우고 토큰마다 모든 파라미터를 계산하는 부담은 줄입니다. 논문에 따르면 저장 파라미터 규모는 31.7B이며, 생성 과정에서 각 대상 잠재 토큰마다 약 5.4B의 생성 파라미터가 활성화됩니다. 이는 대규모 소비자 서비스에서 능력과 추론 비용을 함께 관리하려는 방향과 맞닿아 있습니다.

데이터와 학습 설계

연구진은 단순히 이미지와 텍스트 데이터를 늘리는 데 집중하지 않았습니다. 지식에 기반한 시각 어휘와 대규모 시각 클러스터링을 결합해 의미 범위를 넓히면서도 편집 작업에 필요한 데이터를 확보했습니다. 학습 중 평가 결과를 활용해 데이터 구성을 반복적으로 개선하는 절차도 포함됩니다.

이중언어 주석과 검증된 편집 감독 데이터는 네이티브 1.5K 해상도까지의 단계적 학습을 지원합니다. 생성과 편집은 루브릭 및 체크리스트 기반 보상으로 먼저 별도 최적화한 뒤, 노이즈를 고려한 온폴리시 증류를 통해 하나의 정책으로 통합합니다. 이는 생성 품질과 지시 준수, 편집 안정성을 동시에 확보하려는 전략입니다.

성능과 의미

논문이 보고한 비교에서 1536 해상도 모델은 PRISM-Bench, Qwen-Image-Bench, UnicBench의 평가 대상 오픈소스 모델 가운데 1위를 기록했습니다. 다만 이 결과는 논문에서 설정한 평가 조건에 따른 것이므로, 모든 실제 작업이나 다른 환경에서 동일하게 재현된다고 단정할 수는 없습니다.

또한 MeanFlow 기반의 적은 단계 수 증류를 통해 WeLM-Image-Turbo가 개발됐습니다. 논문은 단일 NVIDIA H20 GPU에서 가이던스 없는 8단계로 1024×1024 이미지를 4.98초에 생성한다고 보고합니다.

WeLM-Image의 핵심 의미는 단일 벤치마크 결과보다, 이해·생성·편집을 하나로 묶으면서도 경로 분리, 희소 전문가, 증류를 이용해 최적화 충돌과 추론 비용을 통제하려 했다는 데 있습니다. 앞으로는 작업 간 성능 절충, 복잡한 편집에서의 일관성, 다른 하드웨어와 실제 서비스 부하에서의 재현성이 주요 검증 과제가 될 것입니다.

출처: Hugging Face Daily Papers