Matrix-Game 4.0, 동영상 모델을 실제로 플레이 가능한 세계로

동영상 생성 모델은 프롬프트에 맞춰 자연스러운 움직임과 장면을 만들 수 있다. 그러나 게임처럼 보이는 영상을 만드는 것과 실제로 플레이 가능한 게임 세계를 만드는 것은 다르다. 게임에서는 캐릭터와 물체의 상태가 계속 유지되어야 하고, 충돌과 이동 같은 규칙이 반복 가능한 방식으로 적용되어야 하며, 사용자의 입력에 충분히 빠르게 반응해야 한다. Matrix-Game 4.0은 동영상 모델 하나에 이 모든 역할을 맡기는 대신, 게임 실행과 시각 생성을 분리하는 방식을 제안한다.

실행 가능한 게임 하네스

구성의 중심에는 실행 가능한 게임 하네스가 있다. 경량 게임 엔진은 세계의 상태를 저장하고, 플레이어 입력과 객체 간 상호작용을 규칙에 따라 처리한다. 멀티모달 코딩 에이전트는 사용자가 자연어로 제시한 아이디어를 게임 코드로 변환하며, 현재 장면을 설명하는 동적 캡션도 생성한다. 이후 자기회귀 동영상 모델 기반 렌더러가 엔진에서 만든 저폴리곤 프록시를 더 풍부한 시각 결과로 변환한다.

이러한 역할 분담은 생성형 게임이 가진 구조적 문제를 겨냥한다. 동영상 모델은 외형과 움직임을 자연스럽게 표현하는 데 강하지만, 장시간 상호작용에서 정확한 위치, 충돌 결과, 점수 변화 같은 규칙을 항상 지키기 어렵다. 반대로 기존 게임 엔진은 상태와 규칙을 안정적으로 실행하지만, 고품질 그래픽을 유연하게 만들어내는 데는 많은 제작 비용이 필요하다. Matrix-Game 4.0은 엔진을 세계의 논리적 기반으로 두고, 동영상 모델을 시각적 표현 계층으로 활용한다.

핵심 내용

• 엔진이 지속 상태를 관리한다. 각 프레임을 독립적으로 추정하는 것이 아니라 객체, 입력, 상호작용 결과를 계속 추적한다.
• 자연어가 제작 인터페이스가 된다. 코딩 에이전트가 사용자의 아이디어를 게임 코드와 장면 캡션으로 바꾸어 새로운 환경과 플레이 방식을 만들거나 수정하도록 돕는다.
• 저폴리곤 프록시가 연결 고리 역할을 한다. 엔진은 구조가 명확하고 계산량이 낮은 장면 표현을 만들고, 렌더러는 이를 세밀한 영상으로 바꾼다.
• 인과적 동영상 생성을 사용한다. 저폴리곤 영상과 고품질 영상의 정렬된 쌍으로 학습하고, 네 프레임 단위로 생성하며 한두 번의 디노이징으로 추론할 수 있도록 설계됐다.
• 실시간 성능을 목표로 한다. 논문이 제시한 평가에서 RTX 5090 한 장으로 480p·60FPS, 키 입력부터 화면 표시까지 112밀리초의 지연을 기록했다. 단일 스텝 생성의 정상 상태 처리량은 83FPS, 최대 GPU 메모리 사용량은 18.2GiB였다. 고정 프롬프트 조건에서는 RTX 5080이 67FPS, RTX 5070 Ti가 58FPS에 도달했다.

의미와 한계

Matrix-Game 4.0의 중요한 점은 단순히 화면 생성 속도를 높인 데 있지 않다. 생성형 게임을 하나의 거대한 모델이 모두 처리하는 문제가 아니라, 상태와 규칙을 실행하는 계층, 자연어로 게임을 설계하는 계층, 화면을 생성하는 계층이 협력하는 시스템 문제로 재구성했다는 점이다. 논문은 엔진이 게임 메커니즘을 강제하는 맞춤형 슈팅 게임과 드라이빙 게임을 제시하며, 같은 구조가 서로 다른 상호작용 유형에 적용될 수 있음을 보여준다.

다만 보고된 성능은 해상도, GPU, 프롬프트, 추론 최적화에 따른 결과다. 따라서 대규모 상용 게임이나 복잡한 장기 플레이에서도 같은 프레임률이 보장된다고 해석해서는 안 된다. 에이전트가 생성한 코드의 검증과 디버깅, 장시간 플레이에서의 시각적 일관성, 물리적 타당성, 콘텐츠 제어도 해결해야 할 과제다.

그럼에도 이 접근은 생성형 게임의 현실적인 경로를 제시한다. 세계가 어떻게 작동하는지는 코드와 엔진이 보장하고, 세계가 어떻게 보이는지는 동영상 모델이 담당하는 것이다. 지연 시간과 메모리 효율, 규칙 범위, 장기 기억이 더 개선된다면 생성 모델은 일회성 콘텐츠 제작 도구를 넘어 플레이어와 함께 변화하는 실시간 세계의 기반이 될 수 있다.

출처: Hugging Face Daily Papers