Chimera: 장문맥 비디오 생성을 위한 하이브리드 시각 확산 백본

도입

시각 생성 모델은 더 높은 해상도의 이미지, 더 긴 비디오, 더 복잡한 멀티모달 조건을 요구받고 있다. 하지만 표준 전체 어텐션 Transformer는 시퀀스 길이가 늘어날수록 계산량이 제곱으로 증가해, 장시간 비디오 확산 모델에서는 큰 부담이 된다. Chimera는 이러한 병목을 겨냥해 제안된 하이브리드 시각 확산 백본이다.

핵심 내용

• 텍스트·이미지·비디오를 하나의 스트림으로 처리: Chimera는 텍스트, 이미지, 비디오 token을 래스터 순서의 단일 시퀀스로 배치한다. 위치 임베딩을 사용하지 않고, 데이터의 순서와 모델 구조를 통해 시공간 및 멀티모달 관계를 학습하도록 설계됐다.
• 전체 어텐션을 대체하는 혼합 구조: Kimi Delta Attention(KDA)은 O(N) 복잡도로 긴 문맥의 상태 추적을 담당한다. 중간에 삽입된 Multi-head Latent Attention(MLA)은 token 간 직접적인 전역 상호작용 경로를 제공한다. 여기에 모달리티를 고려한 짧은 합성곱을 더해 국소적인 공간·시간 정보를 포착한다.
• 희소 MoE로 용량과 비용을 절충: Chimera는 Sparse Mixture-of-Experts 레이어를 사용해 전체 파라미터 용량을 확장하면서도 실제 활성화되는 계산량을 제한한다. 논문에서 제시된 대형 모델은 총 11B 파라미터이며, 활성화 파라미터는 2B다.
• HeteroP 스케일링: Chimera는 동일한 Transformer 블록을 단순히 쌓은 구조가 아니므로, 폭과 깊이를 일괄적으로 키우는 방식만으로는 안정적인 스케일링이 어렵다. HeteroP는 각 텐서의 기능적 fan-in과 모델 깊이에 따라 하이퍼파라미터를 모듈별로 이전해, 일관되게 조정된 모델군을 만든다.

의미와 영향

논문에 따르면, 사전학습 확산 손실 기준으로 Chimera의 dense 백본은 대응되는 전체 어텐션 Wan-2.1 2B 기준선보다 1.7배 높은 계산 효율을 보였다. 전체 시스템 기준으로는 7.3배에 달한다고 보고됐다. 또한 길이에 특화된 미세조정 없이 5초 학습 클립에서 30초 비디오로 제로샷 외삽했으며, 마지막 5초 구간의 FID 저하는 6.5%에 그쳤다.

이는 긴 비디오 확산 모델의 발전 방향이 단순히 전체 어텐션을 더 크게 쌓는 데 있지 않을 수 있음을 보여준다. 선형 시간 상태 추적, 제한적인 전역 상호작용, 국소 합성곱, MoE 기반 용량 확장을 조합하는 방식이 더 실용적인 대안이 될 수 있다. 또한 논문이 제시한 Chinchilla식 계산 최적 법칙은 활성화 모델 크기, 학습 token 수, 이미지와 비디오 데이터 비율을 함께 조정해야 함을 시사한다.

다만 현재 제공된 정보는 주로 초록 수준이므로, 실제 생성 품질, 데이터 구성, 사람 평가, 배포 비용은 원문 확인이 필요하다. 그럼에도 Chimera는 장문맥 시각 생성 모델이 더 이질적이고 계산 효율을 의식한 구조로 이동하고 있음을 보여주는 사례다.

출처: Hugging Face Daily Papers