픽셀에서 상태로: 인터랙티브 월드 모델은 왜 아직 게임 엔진이 아닌가

들어가며

비디오 생성 모델의 발전은 “AI가 직접 플레이 가능한 게임 세계를 생성한다”는 상상을 훨씬 현실적으로 만들었다. 플레이어 입력을 조건으로 다음 화면을 예측할 수 있다면, 전통적인 게임 엔진을 대체할 수도 있어 보인다. 하지만 From Pixels to States: Rethinking Interactive World Models as Game Engines 논문은 이러한 기대를 더 엄밀하게 바라봐야 한다고 말한다.

게임은 그럴듯한 이미지 시퀀스가 아니다. 플레이어의 행동이 명시적 게임 상태를 바꾸고, 규칙이 그 상태를 갱신하며, 렌더링을 통해 결과가 화면으로 나타나는 반복 루프다. 논문은 이 행동-상태-관측 루프를 기준으로, 현재의 인터랙티브 월드 모델이 진짜 게임 엔진이 되기 위해 무엇이 부족한지 정리한다.

핵심 포인트

• 행동 제어는 단순한 조건 입력이 아니다. 키보드, 마우스, 컨트롤러 입력을 모델에 넣는 것은 시작일 뿐이다. 공격, 회피, 이동 같은 행동은 체력, 충돌, 적 위치, 캐릭터 상태 등 현재 조건에 따라 다른 결과를 만들어야 한다. 같은 입력이라도 세계 상태가 다르면 결과도 달라져야 한다.

• 게임 상태 동역학이 핵심 난제다. 인터랙티브 세계에는 시간에 따라 변하는 상태가 있다. 체력, 아이템, 위치, 적 행동, 진행 상황 같은 변수는 계속 추적되어야 한다. 픽셀 공간에서 다음 영상을 예측하는 방식은 짧게 보면 자연스러울 수 있지만, 긴 시간 동안 규칙을 유지하지 못할 위험이 있다.

• 상태와 관측의 지속성이 중요하다. 게임 속 결과는 일회성 시각 효과가 아니다. 쓰러뜨린 적이 이유 없이 다시 나타나거나, 열린 문이 갑자기 원래대로 돌아가거나, 소모한 자원이 잊히면 플레이어는 세계를 신뢰할 수 없다. 논문은 이러한 지속성을 별도의 중요한 능력으로 다룬다.

• 실시간 생성은 기본 조건이다. 게임 엔진은 플레이어 입력에 즉각 반응해야 한다. 모델이 고품질 영상을 만들더라도 지연이 크거나 추론 속도가 불안정하면 실제 플레이 경험을 제공하기 어렵다. 따라서 실시간성은 단순한 엔지니어링 최적화가 아니라, 인터랙티브 월드 모델의 성립 조건에 가깝다.

데이터 측면의 기여

논문은 개념적 분석과 함께 Black Myth: Wukong을 위한 확장 가능한 데이터 엔진도 제시한다. 초록에 따르면 이 데이터 리소스는 90시간 이상의 게임플레이를 수집하며, 프레임 단위로 정렬된 플레이어 행동, 실제 게임 상태, 시각 관측, 구조화 및 의미적 주석을 포함한다.

이는 단순히 게임 화면 영상만 모은 데이터와 다르다. 상태를 인식하는 월드 모델을 훈련하려면 화면에 보이는 결과뿐 아니라, 행동이 어떤 내부 변수를 바꾸고 그 변화가 이후 화면에 어떻게 나타나는지 배워야 한다. 행동, 상태, 관측이 함께 정렬된 데이터는 향후 AI 게임 엔진 연구의 중요한 기반이 될 수 있다.

의미와 영향

이 논문의 가치는 새로운 단일 모델을 발표했다는 데보다, “AI 게임 엔진”을 평가하는 기준을 더 명확히 했다는 데 있다. 논의의 초점을 화면이 얼마나 사실적인가에서, 세계가 규칙을 따르는가, 결과를 오래 유지하는가, 실시간으로 반응하는가로 옮긴다.

게임 산업에서는 생성 모델이 당장 기존 엔진을 완전히 대체하기보다는 프로토타이핑, 시각화, 콘텐츠 제작 보조, 일부 시뮬레이션 도구로 먼저 활용될 가능성이 크다. AI 연구 측면에서 게임은 시각, 제어, 기억, 규칙, 지연 시간이 동시에 요구되는 까다로운 시험장이다. 다음 단계의 월드 모델 경쟁은 더 선명한 픽셀이 아니라 더 신뢰할 수 있는 상태 관리에서 갈릴 수 있다.

출처: arXiv