PixVid, 비디오 확산 모델을 잠재 공간에서 픽셀 공간으로

배경

오늘날의 비디오 생성 모델은 대개 원본 픽셀을 직접 처리하지 않는다. 먼저 VAE를 사용해 비디오를 공간과 시간 방향으로 압축한 뒤, 압축된 잠재 표현에서 확산 과정을 수행한다. 이 방식은 학습과 추론을 현실적인 비용으로 만드는 데 도움이 되지만, 동시에 몇 가지 제약을 만든다. 해상도를 높이면 토큰 수가 빠르게 증가하고, 조건 입력은 개별 프레임보다 여러 프레임의 묶음에 적용되기 쉽다. 또한 상호작용형 생성에서는 여러 프레임으로 구성된 블록이 모두 완성될 때까지 응답을 기다려야 한다.

Roblox 연구진이 제안한 PixVid는 기존 잠재 비디오 모델을 픽셀 공간으로 옮기는 접근법이다. 전체 생성기를 새로 설계하는 대신, 핵심 확산 Transformer를 유지하고 출력을 비디오로 변환하는 경로를 바꾼다.

PixVid의 핵심 설계

• 확산 Transformer 재사용: Wan2.1-14B에서 미세 조정해 시공간 모델링과 노이즈 제거 기능을 이어받는다.
• VAE 디코더 교체: 합성곱 헤드가 Transformer 출력을 픽셀 프레임으로 직접 렌더링하도록 구성해 별도의 잠재-픽셀 복호화 경로를 줄인다.
• 깨끗한 비디오 예측: 확산 속도를 예측하는 대신 노이즈 제거가 끝난 비디오를 직접 예측하는 방식을 사용한다.
• 더 큰 노이즈 시프트: 예측 목표의 변경과 함께, 품질을 확보하는 데 중요한 요소로 제시된다.
• 프레임 단위 처리: 프레임당 토큰 수를 유지하면서 약 두 배의 해상도를 생성하고, 새로운 액션을 다음 프레임에 반영할 수 있다.

의미와 남은 과제

약 130만 개의 학습 클립으로 Wan2.1-14B를 미세 조정한 PixVid는 잠재 공간 기준 모델과 경쟁력 있는 결과를 보였다고 보고됐다. 제공된 자료에 따르면 깊이 조건 비디오 편집에서는 빠른 움직임에서도 조건과의 정렬을 유지하며, 상호작용 상황에서는 더 큰 다중 프레임 블록이 끝날 때까지 기다리지 않고 다음 프레임에 반응한다.

이 연구가 주는 broader한 의미는 잠재 공간 압축을 비디오 생성의 필수 조건으로 보지 않았다는 데 있다. 고해상도 생성과 직접적인 편집, 실시간 제어가 중요해질수록 프레임 단위의 세밀한 시간 제어가 필요하다. PixVid는 대규모 사전 학습 확산 백본을 재사용함으로써 픽셀 공간으로 이동하면서도 아키텍처 변경을 비교적 제한했다는 점에서 실용적인 방향을 제시한다.

다만 현재 제공된 소재에는 처리 속도, 메모리 사용량, 화질 지표, 다른 모델과의 종합 비교가 포함되어 있지 않다. 따라서 픽셀 공간 방식이 모든 조건에서 더 효율적이라고 결론 내리기에는 이르다. 해상도와 비디오 길이, 하드웨어가 달라질 때 장점이 유지되는지는 논문 전문과 후속 재현 연구를 통해 확인해야 한다.

출처: Hugging Face Daily Papers