AlayaWorld: 상호작용형 장기 비디오 월드 모델

도입

전통적인 게임이나 가상 환경 제작은 자산 제작, 애니메이션, 물리 시스템, 프로그래밍 등 여러 공정을 필요로 한다. AlayaWorld가 겨냥하는 방향은 다르다. 사용자가 제공한 텍스트, 이미지 또는 비디오를 출발점으로 삼아, 탐색 가능하고 계속 변화하는 가상 세계를 비디오 월드 모델로 생성하려는 접근이다.

이 기술 보고서의 초점은 단순히 보기 좋은 짧은 영상을 만드는 데 있지 않다. 사용자가 시점을 움직이고, 프롬프트를 바꾸며, 오랜 시간 환경을 탐색해도 공간적·시간적 일관성을 유지하는 시스템을 만드는 것이 핵심이다.

핵심 내용

• 장기 상호작용 생성: AlayaWorld는 24fps 비디오를 생성하며 540p와 720p 해상도를 지원한다. 기반 모델은 15B 규모의 비디오 확산 Transformer이고, 짧은 latent chunk를 자기회귀 방식으로 이어 붙인다.
• 카메라와 프롬프트 제어: 생성 과정은 카메라 궤적과 전환 가능한 텍스트 프롬프트의 영향을 받는다. 따라서 사용자의 조작이 결과 영상의 후처리가 아니라 생성 루프 자체에 포함된다.
• 제한된 시각 컨텍스트: 모든 과거 프레임을 계속 저장하는 대신, 지속 sink frame, 압축된 시간 이력, 기하적으로 정렬된 공간 메모리, 최근 프레임 조건을 결합한다. 이는 제한된 컨텍스트 안에서 장면 정보를 유지하기 위한 설계다.
• 장기 드리프트 완화: 긴 영상 생성에서는 세부 묘사와 구조가 점차 어긋나는 문제가 자주 발생한다. AlayaWorld는 손상된 이력과 자체 roll-out에서 수집한 예측 잔차를 학습에 사용해 오류 누적에 대한 견고성을 높이려 한다.
• 추론 가속: 보고서는 distribution-matching distillation, self-forcing++, consistency distillation을 결합한 이산 자기회귀 증류를 제안한다. 이를 통해 chunk당 샘플링 단계를 약 30단계에서 4단계로 줄였다고 설명한다.

의미와 영향

AlayaWorld의 의미는 비디오 생성, 상호작용 제어, 공간 메모리, 장기 안정성, 추론 효율을 하나의 시스템 문제로 다룬다는 점이다. 가상 세계 제작, 게임 프로토타이핑, embodied AI 시뮬레이션, 인터랙티브 콘텐츠 분야에서는 환경 구축 비용을 낮추고 사용자가 더 직접적으로 장면을 만들고 탐색하게 할 가능성이 있다.

다만 이는 전통적인 게임 엔진을 곧바로 대체하는 제품이라기보다 연구 기반에 가깝다. 실제 운영 가능한 월드 모델에는 더 강한 물리 일관성, 편집 가능성, 제어성, 실시간 신뢰성이 필요하다. AlayaWorld가 오픈소스이자 풀스택 장기 프로젝트로 제시된 점은 그래서 중요하다. iWorld-Bench에서 장기 생성 성능이 가장 좋았다는 보고 역시, 월드 모델 분야에서 평가 체계의 중요성이 커지고 있음을 보여준다.

출처: Hugging Face Daily Papers