프로그래머블 월드 모델, 영상 생성에 지속적인 상태와 규칙을 부여하다

들어가며

최근 영상 월드 모델은 점점 더 사실적인 동적 장면을 만들고, 사용자와의 상호작용도 지원하고 있다. 그러나 상호작용이 길어지면 물체의 개수, 위치, 체력 같은 속성을 정확히 기억하지 못하거나, 처음 설정한 게임 규칙에서 벗어나는 문제가 나타난다. 논문 「Programmable World Model」은 세계가 어떻게 변하는지와 그 세계를 어떻게 영상으로 보여줄지를 분리하는 구조로 이 문제에 접근한다.

핵심 구조

• 자연어를 실행 가능한 규칙으로 변환: 에이전트가 사용자의 지시를 프로그램으로 바꾸고, 각 엔티티의 상태와 상호작용, 상태 전이 규칙을 정의한다.
• 경량 엔진이 세계 상태를 관리: 모든 정보를 영상 생성 모델의 암묵적 기억에 맡기지 않고 명시적인 전역 상태를 유지한다. 카메라 밖에 있는 엔티티와 화면만으로 확인하기 어려운 속성도 계속 보존할 수 있다.
• 3D 표현으로 상태와 영상을 연결: 상태 정보가 포함된 3D 방향성 바운딩 박스(OBB)를 중간 표현으로 사용한다. 목표 카메라 궤적과 함께 이 표현을 픽셀에 정렬된 시공간 조건으로 결정론적으로 변환한 뒤, 사전 학습된 영상 모델에 전달한다.
• 플레이 가능한 환경을 지향: 규칙과 상태를 별도로 관리하기 때문에 개별 엔티티를 직접 제어하고, 게임 진행 중 세계 상태를 지속시키는 설계가 가능해진다.

평가와 의미

연구진은 프로그래머블 월드 모델의 개수 추적과 상태 일관성을 평가하기 위해 CombatStateBench도 제안했다. 논문 요약에 따르면 제안 방식은 이 벤치마크에서 Count Accuracy 94%, State Accuracy 98%를 달성해 기존 인터랙티브 영상 월드 모델을 크게 앞섰다. 핵심은 단순히 더 그럴듯한 영상을 만드는 데 있지 않다. 확인하고 갱신하며 제어할 수 있는 상태 계층을 영상 생성과 분리해 도입했다는 점이 중요하다.

이 구조에서는 규칙 엔진이 결정적인 게임 메커니즘을 담당하고, 영상 모델이 풍부한 시각적 표현을 담당한다. 두 부분은 구조화된 3D 표현을 통해 연결된다. 따라서 게임 프로토타입, 인터랙티브 스토리, 시뮬레이션 환경 등에서 화면에 보이지 않는 엔티티도 계속 존재하고 변화하는 세계를 구현하는 데 활용될 수 있다.

다만 제공된 자료에는 전체 실험 설정, 모델 규모, 구현 세부 사항이 포함되어 있지 않다. 따라서 이 연구를 모든 장기 상호작용 문제를 해결한 최종 해법이라기보다, 명시적 상태 관리를 도입하는 아키텍처 방향으로 보는 것이 타당하다. 앞으로는 자연어 규칙을 얼마나 안정적으로 프로그램으로 변환하는지, 복잡한 규칙을 제대로 실행하는지, 다양한 환경에서 상태와 영상의 일관성을 유지하는지가 중요한 검증 대상이 될 것이다.

출처: Hugging Face Daily Papers