KVAE: 오디오·이미지·비디오 생성을 위한 토크나이저 패밀리

도입

잠재 확산 모델(LDM)에서 토크나이저는 단순한 전처리 도구가 아니다. 원본 오디오, 이미지, 비디오를 압축된 잠재 표현으로 바꾸는 방식은 모델의 학습 속도, 재구성 품질, 최종 생성 결과에 직접적인 영향을 준다. 좋은 생성 모델을 만들기 위해서는 확산 네트워크뿐 아니라, 그 앞단에서 데이터를 어떻게 표현할지도 중요하다.

Kandinsky Lab의 기술 보고서 「KVAE: Family of Tokenizers for Multimodal Generative Models」는 바로 이 지점에 집중한다. KVAE는 하나의 모델이 아니라, 텍스트 조건 생성에 쓰기 위해 설계된 오디오·이미지·비디오용 토크나이저 패밀리다.

핵심 내용

• 멀티모달 구성: KVAE는 KVAE-Audio, KVAE-3D, KVAE-2D로 구성되며 각각 오디오, 비디오, 이미지 입력을 담당한다.
• 오디오 토크나이저: KVAE-Audio는 연속형 풀밴드 48 kHz 토크나이저이며, 50 Hz 잠재 표현과 64개 채널을 사용한다.
• 비디오 토크나이저: KVAE-3D는 4x16x16 및 4x8x8 압축 설정을 갖는 두 가지 인과적 비디오 토크나이저를 제공한다. 시간 흐름을 다루는 비디오 생성에서는 인과적 설계가 중요한 의미를 갖는다.
• 이미지 토크나이저: KVAE-2D는 입력 이미지를 8배 압축하고 32개 잠재 채널을 사용한다.
• 평가 범위: 보고서는 PSNR, LPIPS, PESQ 등 재구성 지표와 Frechet Distance, CLIP score, CLAP score 등 생성 관련 지표를 함께 다룬다. 또한 side-by-side 방식의 주관 평가도 포함한다.

의미와 영향

KVAE의 핵심 메시지는 토크나이저가 생성 모델의 성능을 좌우하는 기반 요소라는 점이다. 잠재 표현이 정보를 충분히 보존하면서도 효율적으로 압축되면, 후속 확산 모델은 더 쉽게 학습할 수 있다. 반대로 표현이 부실하면 생성 결과의 세부 묘사, 의미 일관성, 오디오 품질 등에 한계가 생길 수 있다.

보고서에 따르면 KVAE는 Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio, MMAudio 등 주요 오픈소스 토크나이저와 비교해 여러 객관 지표와 주관 평가에서 비슷하거나 더 나은 결과를 보였다. 이러한 주장은 실험 조건과 함께 해석해야 하지만, 코드와 가중치, 학습 세부사항, 모델 선택 방법, 설계 선택에 대한 ablation을 공개했다는 점은 커뮤니티에 실질적인 가치가 있다.

텍스트-투-비디오, 텍스트-투-오디오, 이미지 생성 모델을 개발하는 연구자와 개발자에게 KVAE는 바로 적용 가능한 구성 요소이자 비교 기준이 될 수 있다. 앞으로 멀티모달 생성의 경쟁은 모델 크기나 데이터뿐 아니라, 어떤 잠재 표현을 설계하느냐에서도 갈릴 가능성이 크다.

출처: Hugging Face Daily Papers