MiniWorld: 비디오 월드 모델을 처음부터 학습하는 경량 기준선

도입

비디오 월드 모델은 과거 관측과 제어 신호를 바탕으로 앞으로의 관측을 예측하는 모델이다. 일반적인 비디오 생성 모델이 시각적 품질과 움직임의 자연스러움에 더 초점을 맞춘다면, 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지에 대한 동역학을 학습하려 한다. 이는 임바디드 AI, 상호작용형 시뮬레이션, 장기 계획의 기반 기술이 될 수 있다. MiniWorld가 던지는 질문은 분명하다. 대규모 사전학습 비디오 생성 모델을 후처리하거나 증류하지 않고도, 투명하고 재현 가능한 비디오 월드 모델을 처음부터 학습할 수 있는가?

핵심 요점

• 처음부터 학습하는 접근. 최근 비디오 월드 모델 연구는 사전학습된 비디오 생성 모델을 포스트 트레이닝하거나 증류하는 방식에 많이 의존했다. MiniWorld는 더 단순하고 검증 가능한 엔드투엔드 학습 기준선을 제시한다.
• 인과적 스트리밍 구조. 논문은 양방향 사전학습과 실제 인과적 스트리밍 추론 사이의 불일치를 지적한다. MiniWorld는 block-causal Video Diffusion Transformer를 사용해 자기회귀적 롤아웃에 더 잘 맞는 구조를 채택한다.
• 잠재공간에서의 학습. 모델은 사전학습된 Video VAE의 잠재공간에서 Flow Matching으로 학습된다. 이는 픽셀 공간을 직접 다루는 것보다 계산 부담을 줄이는 방향이다.
• Diffusion Forcing 기반 설계. chunk 단위의 비감소 노이즈 스케줄과 2단계 계속 학습을 사용해 시간적 모델링과 안정성을 개선한다.
• 효율적인 추론. 추론 단계에서는 rolling KV cache와 파이프라인형 비동기 디노이징을 결합해, 제한된 계산량 안에서 스트리밍 생성을 수행하도록 설계했다.

의미와 영향

MiniWorld의 의미는 단순히 더 큰 모델을 만드는 데 있지 않다. 연구자들이 학습 파이프라인을 직접 확인하고, 재현하며, 구성 요소별 기여를 비교할 수 있는 공개 기준선을 제공한다는 점이 중요하다. 저자들은 전체 모델을 단일 8-GPU 서버에서 며칠 안에 학습할 수 있다고 설명하며, 학습·추론 코드와 사전학습 체크포인트를 공개했다. 이는 인과 구조, 노이즈 스케줄, 계속 학습, KV 캐시 같은 요소가 실제로 어떤 역할을 하는지 분석하는 데 도움이 된다.

임바디드 AI 관점에서 월드 모델은 에이전트가 행동하기 전에 가능한 결과를 내부적으로 시뮬레이션하는 도구가 될 수 있다. 다만 제공된 자료에는 세부 벤치마크나 광범위한 성능 비교가 포함되어 있지 않다. 따라서 MiniWorld는 기존 대형 시스템을 완전히 대체하는 결과라기보다, 커뮤니티가 더 쉽게 실험하고 확장할 수 있는 개방형 연구 출발점으로 보는 것이 타당하다.

출처: Hugging Face Daily Papers