Adobe Wonder: 카메라로 탐험하는 실시간 비디오 월드 모델

도입

Hugging Face Daily Papers에 올라온 논문 “Wonder: Video World Model Done Better”는 비디오 생성의 목표를 한 단계 바꿔 놓습니다. Wonder는 단순히 정해진 영상을 만드는 모델이 아니라, 한 장의 이미지나 조건 비디오에서 출발해 사용자가 카메라를 움직이며 탐험할 수 있는 세계를 구성하는 비디오 월드 모델입니다. 사용자는 보이지 않았던 영역을 새로 발견하고, 시간이 지난 뒤 이전에 봤던 장소로 돌아갈 수 있습니다.

이 목표는 일반적인 이미지-투-비디오 생성보다 훨씬 어렵습니다. 모델은 카메라 움직임을 이해하고, 보이지 않는 공간을 추론하며, 생성이 길어져도 장면의 구조와 외형을 기억해야 합니다.

핵심 내용

• 밀집 좌표장 기반 카메라 조건: Wonder는 카메라 제어를 단순한 파라미터로만 주입하지 않습니다. 밀집 좌표장의 렌더링을 활용해 움직임과 방향 정보를 화면과 정렬된 시각 단서로 제공합니다. 이를 통해 모델은 카메라 이동을 직접적인 시각 증거처럼 해석할 수 있습니다.
• 긴 생성 구간을 위한 메모리: 비디오가 길어질수록 컨텍스트도 커집니다. Wonder는 희소 어텐션 기반 메모리 메커니즘을 제안해, 추론 시 전체 과거를 모두 보지 않고 관련 있는 소수의 컨텍스트 token에 선택적으로 주목하도록 합니다.
• 증류 학습의 보정: 연구진은 self-forcing 스타일의 증류 파이프라인도 수정했습니다. 목적은 학생 모델이 제어 신호를 더 잘 따르면서도, 교사 모델의 다양한 생성 모드와 장기 기억 능력을 유지하게 하는 것입니다.
• 이미지뿐 아니라 비디오 조건도 지원: Wonder는 이미지에서 비디오를 만드는 데 그치지 않고, 기존 동적 장면을 조건으로 새로운 카메라워크를 적용하는 실시간 재촬영 형태의 생성도 지원합니다.

의미와 영향

Wonder의 의미는 비디오 생성이 선형적인 결과물에서 상호작용 가능한 장면으로 이동하고 있다는 점입니다. 논문 요약에 따르면 이 시스템은 16 FPS로 분 단위의 다양한 비디오를 합성하며, 긴 rollout에서도 기하 구조, 외형, 동작의 일관성을 유지합니다. 이는 가상 제작, 인터랙티브 콘텐츠, 게임 프로토타이핑, 공간 시각화 같은 분야에 중요한 가능성을 제시합니다.

다만 공개된 요약만으로는 복잡한 물리 상호작용, 극단적인 카메라 경로, 실제 제품 수준의 안정성까지 판단하기는 어렵습니다. 그럼에도 Wonder는 향후 월드 모델에서 제어 방식, 메모리 구조, 학습 전략을 함께 설계해야 한다는 점을 분명히 보여줍니다.

출처: Hugging Face Daily Papers