생성에서 시뮬레이션으로: 월드 모델은 진짜 시뮬레이터에 얼마나 가까워졌나

들어가며

월드 모델은 그럴듯한 영상을 생성하는 시스템을 넘어, 에이전트가 행동할 수 있는 환경으로 기대 범위를 넓히고 있다. 확산 모델과 대규모 비디오 생성 기술이 발전하면서 물리 엔진, 게임 엔진, 강화학습 환경을 대체할 수 있다는 전망도 나온다. 하지만 시각적으로 자연스러운 결과와 시뮬레이션 능력은 다르다. 시뮬레이터는 계산과 제어가 가능하고, 상태를 조회할 수 있으며, 같은 조건에서 결과를 재현할 수 있는 세계를 제공해야 한다.

논문 *From Generation to Simulation: How Far Are World Models from Being True Simulators?*는 생성이 아니라 시뮬레이션의 관점에서 현재 월드 모델과 전통적 시뮬레이터 사이의 거리를 분석한다.

핵심 내용

연구진은 전통적 시뮬레이터의 역량을 자산 구축, 물리 엔진, 상호작용, 제어 가능성, 안정성, 상태 피드백, 다양성, 평가 지표의 8개 항목으로 나눴다. 이어 2018년부터 2026년 6월까지 발표된 대표 연구 200편을 잠재 동역학, 비디오 생성, 공동 임베딩 예측이라는 세 가지 기술 경로에 배치했다.

결론은 월드 모델이 아직 쓸모없다는 식의 단순한 판단이 아니다. 제한된 과제와 시나리오에서는 행동에 따른 변화를 생성하고 상호작용과 제어를 지원할 수 있어, 전통적 환경을 기능적으로 대신할 수 있다. 다만 이런 대체는 특정 데이터와 과제, 시각적 조건에 묶여 있는 경우가 많으며, 범용 시뮬레이터가 제공하는 보장과는 거리가 있다.

가장 중요한 격차 중 하나는 물리 법칙이다. 짧은 구간에서 결과가 자연스럽게 보이더라도, 모델이 물리 법칙을 명시적이고 검증 가능한 방식으로 표현하거나 새로운 조건에 안정적으로 일반화한다는 뜻은 아니다. 장기 롤아웃에서는 작은 예측 오류가 누적돼 세계의 상태가 점차 어긋나고, 결과의 재현성도 떨어질 수 있다.

연구는 특히 상태 피드백이 여러 기술 경로에서 공통적으로 소홀히 다뤄진 문제라고 지적한다. 전통적 시뮬레이터에서는 프로그램이 위치, 속도, 물리 파라미터 등을 조회하고, 제어기가 구조화된 상태를 바탕으로 판단할 수 있다. 반면 월드 모델은 이미지나 비디오를 주로 출력하는 경우가 많다. 구현을 포함한 163편 가운데 개체 상태나 물리 파라미터를 실행 중 조회하는 인터페이스를 제공한 연구는 6편뿐이었다. 겉으로는 상호작용이 가능해 보여도 로봇 학습이나 정책 평가에 필요한 엄밀한 환경이라고 보기는 어려운 이유다.

의미와 영향

이 연구는 화질, 사실성, 생성 영상의 길이만으로 월드 모델을 평가해서는 안 된다고 말한다. 체화 AI와 강화학습에서는 행동의 의미가 통일돼 있는지, 상태를 직접 읽을 수 있는지, 결과를 반복 재현할 수 있는지, 예측이 실제 정책 개선에 기여하는지가 중요하다. 물리적 제약을 얼마나 명확히 다루는지도 핵심이다.

저자들이 제안한 방향은 형식화된 물리 모델, 통합 행동 인터페이스, 상태 피드백의 핵심 기능화, 장기 안정성 향상, 다운스트림 효용 기반 평가, 기술 경로 간 결합이다. 앞으로의 경쟁은 더 그럴듯한 장면을 만드는 데서 끝나지 않고, 에이전트가 관찰하고 행동하며 검증하고 지속적으로 예측할 수 있는 세계를 구축하는 단계로 이동할 가능성이 크다.

출처: Hugging Face Daily Papers