VideoRAE: 비디오 파운데이션 모델을 생성용 잠재공간으로 바꾸다

도입

비디오 생성 모델의 성능은 생성기 구조만으로 결정되지 않는다. 실제로 많은 시스템은 먼저 3D-VAE로 영상을 잠재공간에 압축한 뒤, 그 표현 위에서 확산 모델이나 자기회귀 모델을 학습한다. 하지만 기존 3D-VAE는 대체로 픽셀 단위 재구성에 최적화되어 있어, 영상 속 의미, 움직임, 시공간 구조를 충분히 담은 잠재표현을 만든다고 보장하기 어렵다.

arXiv 논문 VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders 는 이 문제를 정면으로 다룬다. 핵심 질문은 V-JEPA 2, VideoMAEv2 같은 비디오 파운데이션 모델이 이미 학습한 동결 표현을, 작고 재구성 가능하며 생성 모델 친화적인 비디오 잠재공간으로 바꿀 수 있는가이다.

핵심 내용

• 픽셀 압축에서 표현 압축으로: VideoRAE는 처음부터 3D-VAE를 학습하기보다, 강한 비디오 이해 능력을 가진 동결 비디오 파운데이션 인코더의 특징을 활용한다.
• 다중 스케일 계층 특징 활용: 동결된 VFM에서 여러 스케일의 계층적 특징을 추출해, 의미와 시간적 구조를 더 풍부하게 보존하려 한다.
• 가벼운 1D 자기어텐션 프로젝터: 추출된 특징은 경량 1D self-attention projector를 통해 압축되어 생성 모델이 사용할 수 있는 잠재표현으로 변환된다.
• 두 가지 생성 방식 지원: 연속 잠재표현은 Diffusion Transformer에 사용할 수 있고, 다중 코드북 고차원 양자화를 통해 자기회귀 모델용 이산 토큰도 만들 수 있다.
• 복원 과정의 표현 정렬: 디코딩 단계에서는 동결 VFM 교사 모델과의 로컬 및 글로벌 표현 정렬 목표를 사용해 의미 보존을 높이고, KL 정규화 없이 학습할 수 있도록 설계했다.

의미와 영향

논문 초록에 따르면 VideoRAE는 연속 및 이산 설정 모두에서 강한 재구성 성능을 보였다. UCF-101 class-to-video 생성에서는 자기회귀 생성기와 결합했을 때 gFVD 40, DiT 생성기와 결합했을 때 gFVD 93을 기록했으며, 경쟁 오토인코더 기준보다 약 5배 빠르게 수렴했다고 보고한다. 또한 통제된 2B 규모 text-to-video 연구에서 LTX-VAE를 VideoRAE로 대체했을 때, 유사한 조건에서 더 빠른 수렴이 나타났다고 설명한다.

이 연구의 의미는 비디오 파운데이션 모델을 단순한 이해용 백본이 아니라, 생성 모델의 잠재공간을 제공하는 기반으로 재해석한다는 점에 있다. 동결된 VFM 표현이 안정적으로 압축되고 복원되며 생성에 활용될 수 있다면, 비디오 생성 모델은 대규모 비디오 이해 모델이 학습한 의미 구조를 직접 활용할 수 있다.

다만 현재 정보는 논문 초록 중심이며, 모델과 코드는 공개 예정으로 되어 있다. 더 복잡한 오픈도메인 영상, 긴 영상 생성, 다양한 text-to-video 조건에서도 같은 장점이 유지되는지는 후속 검증이 필요하다.

출처: arXiv