코드로 세계를 진화시키다: 코딩 에이전트를 ‘세계의 뇌’로 만든 Code World Model

들어가며

비디오 기반 월드 모델은 연속적인 시각 관측을 통해 환경이 어떻게 변하는지 학습합니다. 그러나 영상은 주로 결과를 보여줄 뿐, 그 결과를 만든 규칙과 지식, 인과적 메커니즘까지 충분히 담지는 못합니다. 어떤 물체가 움직였다는 사실은 볼 수 있어도, 왜 움직였는지와 그 사건이 이후 상태에 어떤 영향을 주는지를 장기적으로 유지하기는 어렵습니다. Code World Model(CWM)은 세계의 진화와 시각적 표현을 분리해 이 문제에 접근합니다.

핵심 구성

• 코딩 에이전트가 세계의 뇌 역할을 합니다. 언어 모델은 사용자 행동과 사건의 결과를 추론한 뒤 실행 가능한 코드를 생성합니다. 이 코드는 세계 상태를 유지하고 객체의 속성 및 사건의 후속 효과를 갱신합니다.
• 진화와 렌더링을 분리합니다. 세계가 어떻게 변할지는 코드가 결정하고, 그 변화가 어떻게 보일지는 비디오 모델이 생성합니다. 따라서 모든 장기 논리를 다음 프레임의 픽셀 예측에만 의존하지 않고 명시적인 상태와 규칙으로 관리할 수 있습니다.
• 프록시 표현이 연결부가 됩니다. 연구진은 객체와 움직임 등의 정보를 프레임 단위 시공간 제약으로 나타내는 프록시 표현을 제안했습니다. 이 표현을 프록시 비디오로 변환한 뒤 비디오 모델의 조건으로 사용해, 상태에 맞는 시각적 관측을 생성합니다.
• 정렬된 학습 데이터를 구축합니다. 게임플레이와 실제 세계 영상에서 프록시 표현과 관측 영상의 쌍을 만드는 데이터 파이프라인을 개발했습니다. 게임플레이 쌍 데이터로 미세 조정한 MiniMax-H3는 코딩 에이전트가 만든 단순한 상호작용 세계의 시공간 명세를 따르면서 풍부한 시각적 세부와 동작을 보였습니다.

의미와 한계

CWM의 중요한 점은 월드 모델의 역할을 재분배했다는 데 있습니다. 실행 가능한 코드는 지속적인 상태 변화와 규칙을 명시적으로 처리하고, 생성형 비디오 모델은 유연하고 사실적인 시각 표현을 맡습니다. 장기적인 결과와 규칙 일관성이 필요한 환경에서는 픽셀만으로 다음 장면을 예측하는 방식보다 상태를 추적하고 제어하기 쉬운 구조가 될 수 있습니다. 세계 규칙을 바꾸거나 상태 변화의 원인을 점검하는 데에도 유리한 인터페이스를 제공할 가능성이 있습니다.

다만 현재 결과는 코딩 에이전트가 구축한 단순한 상호작용 세계와 게임플레이 쌍 데이터에 주로 기반합니다. 복잡한 물리 법칙과 사회적 규칙, 실제 환경을 프록시 표현이 얼마나 잘 다룰 수 있는지, 그리고 복잡도가 높아져도 코드 상태와 생성 영상이 계속 일치하는지는 추가 검증이 필요합니다. 그럼에도 프로그램 기반 세계 상태와 생성형 시각 관측을 결합하는 새로운 연구 방향을 제시했다는 점에서 의미가 있습니다.

출처: Hugging Face Daily Papers