SolarWM, 장기 비디오 월드 모델을 위한 개방형 학습 기반 제시

들어가며

비디오 월드 모델은 그럴듯한 영상을 만드는 데서 끝나지 않는다. 환경의 상태를 유지하고, 사용자의 행동에 반응하며, 긴 시간 동안 움직임과 시각적 일관성을 보존해야 한다. 그러나 실제 비디오 데이터셋은 시간 해상도, 카메라 기하, 화질, 움직임, 캡션 스타일이 서로 다르다. 비디오 생성 백본 역시 내부 표현과 학습 목표가 제각각이어서, 단순한 데이터 혼합과 모델별 구현만으로는 일관된 감독 신호와 재현 가능한 결과를 얻기 어렵다.

SolarWM은 데이터 준비부터 학습과 추론까지를 하나의 개방형 기반으로 묶어 이 문제를 해결하려 한다.

핵심 내용

• 통합 데이터 계약. 여러 데이터셋의 정규화된 비디오 클립을 프레임 정렬 공통 형식으로 변환한다. 이 형식에는 시각 관측, 미터법 카메라 기하, 캡션, 품질 메타데이터, 데이터 선택 여부와 출처 정보가 포함된다. 원천별 전처리와 학습 혼합 설계를 분리해, 전체 데이터를 다시 처리하지 않고도 학습 구성을 바꿀 수 있도록 했다.
• 백본 고유 특성 보존. 공통 카메라 조건화, 학습, 추론 인터페이스를 제공하면서 Wan2.2, LTX-2.5, MiniMax-H3 기반 모델을 지원한다. 5B에서 33B 규모에 이르는 네 모델을 구현하되, 모든 백본을 같은 구조로 강제하지 않고 각 모델의 원래 표현과 목적 함수를 유지한다.
• 세 단계 학습 레시피. 양방향 적응, 교사 강제 자기회귀 초기화, 분포 매칭 증류를 순차적으로 적용한다. 일반적인 비디오 생성 능력을 조작에 반응하는 인과 모델로 전환하는 과정이며, 별도의 ODE 또는 일관성 증류 초기화를 요구하지 않는다고 설명한다.
• 짧은 학습 영상과 긴 롤아웃. 프로젝트에 따르면 5초 시퀀스만으로 학습한 모델이 분에서 시간 단위에 이르는 실시간 상호작용 롤아웃을 지원한다. 장시퀀스 파인튜닝이나 어텐션 싱크 메커니즘에 의존하지 않는다는 점도 주요 주장이다.

의미와 남은 과제

SolarWM의 가장 큰 의미는 단일 모델의 성능보다 연구 인프라를 표준화하려는 시도에 있다. 지금까지 월드 모델 연구에서는 데이터 정제 코드, 카메라 조건 처리, 백본별 학습 구현이 분리되어 있어 재현과 비교에 많은 비용이 들었다. 공통 데이터 계약과 모듈식 혼합 설계를 사용하면 데이터 구성, 모델 구조, 추론 설정을 바꿔가며 실험하기가 쉬워지고, 소거 실험의 조건도 더 명확하게 관리할 수 있다.

짧은 클립 학습으로 장기 상호작용을 유도하는 방식은 인터랙티브 시뮬레이션, 게임 환경, 체화형 에이전트 연구와 연결될 수 있다. 다만 긴 영상을 생성한다는 사실만으로 물리적 일관성, 제어 가능성, 장시간 객체 정체성 유지가 보장되는 것은 아니다. 공개 가중치와 전체 평가 결과를 바탕으로 추가 검증이 필요하다.

제공된 자료에는 사용 데이터셋 수가 10개와 14개로 다르게 적혀 있다. 따라서 정확한 수치는 최종 논문이나 공식 저장소에서 확인해야 한다. 데이터와 학습 레시피, 가중치, 프레임워크가 실제로 충분히 공개된다면 SolarWM은 비디오 월드 모델 연구의 재현성과 확장성을 높이는 공통 출발점이 될 가능성이 있다.

Hugging Face Daily Papers