Wizard, 에이전트로 생성형 게임 세계를 실시간 조작

들어가며

영상 월드 모델은 사실적인 화면을 만드는 기술에서, 사용자가 직접 조작할 수 있는 가상 환경을 유지하는 기술로 확장되고 있다. Wizard의 핵심은 모든 기능을 영상 생성 모델 하나에 맡기지 않는 것이다. 에이전트가 게임 상태와 행동을 관리하고, 영상 모델은 구조화된 제어 신호를 연속적인 화면으로 표현한다. 캐릭터 골격과 장면 기하는 두 구성 요소를 연결하는 중간 인터페이스로 사용된다.

핵심 내용

• 관절 동작까지 구조적으로 제어. 기존 게임 월드 모델은 걷기나 달리기처럼 미리 정의된 이동 패턴에 집중하는 경우가 많았다. Wizard는 골격 표현을 통해 관절이 포함된 행동을 다루며, 검을 휘두르거나 날개를 펼치거나 전투 중 변신하는 사례를 상정한다.
• 세계 상태를 명시적으로 관리. 시스템은 직전 프레임만 보고 다음 화면을 예측하는 대신, 에이전트가 게임 상태를 유지하고 갱신하도록 설계됐다. 이를 통해 캐릭터 행동, 장면 변화, 전투 규칙이 이어지는 상호작용에서도 일관성을 유지하는 것을 목표로 한다.
• 새로운 조합으로 일반화. 연구진은 750개 장면과 178개 캐릭터를 아우르는 50.3시간의 프록시-영상 정렬 데이터를 구축했다. 캐릭터 인식형 적응 마스킹은 참조 캐릭터의 외형을 보존하면서 구조화된 조건과 생성 결과의 대응을 개선하는 역할을 한다.
• 실시간 상호작용을 지향. 인과 적응과 소단계 증류를 적용해 생성 비용을 낮추고, 24 FPS 상호작용과 보지 못한 장면·캐릭터·동작에 대한 제로샷 일반화를 보고한다.

의미와 남은 과제

Wizard의 중요한 시사점은 생성형 게임 세계의 역할을 나누는 방식이다. 에이전트는 상태와 규칙, 행동을 담당하고, 구조화된 프록시는 조작 가능한 인터페이스가 되며, 영상 모델은 결과를 시각적으로 구현한다. 이 구조는 플레이어가 캐릭터를 소환하거나 변신을 일으키고, 장면을 변경하는 등 기존의 제한적인 동작 목록보다 세밀하게 세계를 구성할 가능성을 열어준다.

다만 제공된 자료만으로는 종합적인 벤치마크 비교, 장시간 상호작용에서의 안정성, 공개 코드 여부를 확인하기 어렵다. 24 FPS라는 처리 속도만으로 캐릭터 정체성, 공간적 관계, 충돌, 게임 규칙이 계속 유지된다고 단정할 수도 없다. 따라서 Wizard는 범용 게임 제작을 완성한 시스템이라기보다, 프로그래밍 가능한 생성형 세계를 향한 아키텍처적 접근으로 보는 편이 정확하다. 후속 데모와 평가가 실제 환경에서의 제로샷 제어 성능을 가늠할 핵심이 될 것이다.

출처: Hugging Face Daily Papers