VAST, 실시간 월드 모델 EdenLive 오픈소스 공개

들어가며

생성형 AI는 한 장의 이미지나 짧은 영상을 만드는 단계를 넘어, 사용자의 입력에 계속 반응하는 상호작용 세계로 확장되고 있다. VAST가 공개한 EdenLive는 이 과정에서 시각적 표현을 담당하는 실시간 월드 모델이다. 단순화된 장면, 참고 영상, 목표 첫 프레임, 텍스트 프롬프트를 조합해 기존 레이아웃과 움직임을 유지하면서 실사풍이나 애니메이션풍 영상을 연속적으로 생성한다.

핵심 내용

• 실시간 생성: VAST에 따르면 5B 모델은 소비자용 RTX 5090 한 장에서 720p 기준 24FPS를 넘는다. 분 단위의 연속 생성과 수백 밀리초 수준의 입력-출력 지연도 지원한다고 설명한다.
• 다양한 입력: 2D·3D 단순 장면, 영상, 목표 첫 프레임, 프롬프트를 사용할 수 있다. 참고 자료는 구도와 카메라, 움직임을 제시하고 첫 프레임과 프롬프트는 외형과 스타일을 지정한다.
• 상태와 렌더링의 분리: 캐릭터 위치, 공격, 명중 여부, 체력 등 규칙은 상위 상호작용 시스템이 관리한다. EdenLive는 갱신된 상태를 세밀한 시각 콘텐츠로 변환한다.
• 활용 사례: 상호작용 게임 미리보기, 장면·애니메이션 사전 시각화, 영상 캐릭터와 화풍 변경, 사람의 조작 영상을 로봇 시점 데이터로 바꾸는 작업 등이 제시됐다.

왜 중요한가

EdenLive의 핵심은 단순히 영상 생성 속도를 높이는 데 있지 않다. 생성 모델을 제어 가능한 상호작용 파이프라인에 배치했다는 점이 중요하다. 영상 생성 모델은 풍부한 시각 표현에 강하지만, 게임 규칙과 상태를 장시간 정확히 유지하는 데는 한계가 있다. 반면 기존 게임 엔진은 상태를 통제하기 쉽지만, 고품질 자산을 제작하는 데 많은 비용이 든다. 두 역할을 분리하면 블록이나 저해상도 프록시 장면으로 먼저 게임 로직을 검증하고, 생성 모델로 캐릭터와 소재, 미술 스타일을 바꿔볼 수 있다.

이 방식은 게임 원형 제작, 애니메이션 연출 확인, 가상 캐릭터 제작의 반복 비용을 낮출 가능성이 있다. VAST는 프롬프트로 플레이 가능한 게임 원형을 만드는 Game Prototype Turbo도 공개할 예정이며, 상호작용 시스템과 생성형 시각 출력을 연결하는 흐름을 구축하려 한다.

다만 모든 게임에 바로 적용할 수 있는 단계는 아니다. 빠르고 격렬한 조작, 여러 캐릭터의 정체성 유지, 작은 물체의 세밀한 제어, 장시간 실행에서의 시각 일관성은 여전히 과제다. 실제 경쟁력은 모델 자체뿐 아니라 상태 관리, 대응 데이터, 추론 속도, 화질을 하나의 시스템으로 조율하는 능력에 달려 있다. 가중치와 추론 코드, 기술 보고서, 데모 공개는 이 접근법을 직접 검증할 수 있는 기반을 제공한다.

출처: 量子位