GameVerse, 인터랙티브 월드 모델의 ‘1분 한계’에 도전하다

들어가며

인터랙티브 월드 모델의 목표는 그럴듯한 짧은 영상을 만드는 데 그치지 않습니다. 사용자나 에이전트의 행동에 따라 환경을 계속 조작할 수 있어야 하며, 시간이 지나도 장면 구조와 사건의 흐름이 유지되어야 합니다. 하지만 현재 시스템은 짧은 롤아웃에서는 좋은 결과를 보여도 약 1분에 가까워지면 공간 배치, 카메라 움직임, 사건의 연결성이 흔들리기 쉽습니다. GameVerse 논문은 장기 학습에 적합한 데이터가 부족하다는 점을 주요 원인으로 제시합니다.

GameVerse의 핵심

• 분 단위 연속 영상. GameVerse는 6.97만 개 클립, 총 1,655시간, 약 3억 4,960만 프레임을 담고 있습니다. 1인칭과 3인칭 게임플레이를 폭넓게 포함하며, 연속 2분 시퀀스만 1,358시간입니다. 10초 이하 짧은 클립이 중심이었던 기존 데이터보다 이동, 탐색, 상호작용의 긴 흐름을 학습하기에 적합합니다.
• 카메라 움직임을 명시. 각 클립에는 수 분 동안 시간적으로 안정적인 카메라 궤적이 연결됩니다. 모델이 시점 변화와 공간 구조, 플레이어의 행동 사이의 관계를 학습하도록 돕는 정보입니다.
• 이벤트 중심 캡션. 영상 전체를 뭉뚱그려 설명하는 문장은 특정 행동이 언제 일어났는지 표현하기 어렵습니다. GameVerse는 비교적 고정된 장면 맥락과 동적인 전경 이벤트를 분리하고, 일정한 시간 구간이 아니라 이벤트 경계에 맞춰 설명을 배치합니다.
• 통합 처리 과정. 장면 일관성을 고려한 분할, 품질 필터링, 카메라 자세 추정, 이벤트 기반 캡션 주석을 하나의 파이프라인으로 처리합니다. 갑작스러운 장면 전환, 화질 편차, 영상과 텍스트의 시간 단위 불일치에서 발생하는 잡음을 줄이려는 접근입니다.

의미와 한계

GameVerse의 의미는 단순히 게임 영상의 양을 늘린 데 있지 않습니다. 긴 연속 관찰, 안정적인 시점 정보, 구체적인 사건과 연결된 언어 설명을 한데 제공한다는 점이 핵심입니다. 이 조합은 모델이 짧은 영상의 외형만 복사하는 대신, 환경이 시간에 따라 어떻게 유지되는지를 학습하는 데 도움을 줄 수 있습니다.

논문은 GameVerse로 학습한 모델이 인터랙티브 롤아웃에서 시간적 일관성을 상당히 연장했다고 보고합니다. 다만 이것이 장기 월드 모델링의 모든 문제를 해결했다는 뜻은 아닙니다. 게임은 물리 세계와 규칙, 개방성, 상호작용의 복잡성에서 차이가 있으며, 카메라 궤적과 이벤트 주석의 품질도 학습 효과에 직접 영향을 줄 수 있습니다. 앞으로는 서로 다른 게임과 환경, 나아가 현실 세계로 학습된 연속성이 이전되는지 확인해야 합니다.

이 연구는 월드 모델 데이터셋의 방향도 보여줍니다. 프레임 수만 늘리는 것보다 시퀀스 길이, 카메라의 연속성, 이벤트 수준의 의미 표현을 함께 확보하는 일이 중요합니다. 분 단위 데이터셋은 생성 시스템이 초기의 그럴듯한 장면을 넘어 장기간 일관성을 유지하는지 평가하는 기반이 될 수 있습니다.

출처: Hugging Face Daily Papers