ForgeWM, 1~4단계로 실행하는 실시간 비디오 월드 모델

들어가며

상호작용형 비디오 월드 모델은 그럴듯한 화면을 만드는 것만으로 충분하지 않습니다. 플레이어의 입력에 즉시 반응하고, 앞선 상태와 행동에 맞는 다음 장면을 안정적으로 생성해야 합니다. 게임에서는 키보드 입력이 이산적인 반면 마우스 움직임은 연속적입니다. 비디오를 시간축의 잠재 청크로 압축하면 입력과 화면 변화 사이의 대응이 흐트러질 수 있습니다. ForgeWM은 이 문제를 겨냥해 소수 단계 인과 생성 모델을 만드는 점진적 학습 방식을 제안합니다.

핵심 학습 과정

ForgeWM은 양방향 액션 조건부 비디오 생성기에서 출발합니다. 모델을 곧바로 1단계로 압축하지 않고 다음 네 과정을 거칩니다.

• 도메인 적응: 인터랙티브 게임 영상과 조작 신호에 맞도록 기반 생성기를 조정합니다.
• 교사 강제 인과 학습: 실제 과거 상태를 사용해 자기회귀 실행 방식에 익숙하게 만듭니다.
• 인과 일관성 증류: 시간 압축 뒤에도 교사와 일관된 예측 관계를 유지하도록 학습합니다.
• 온폴리시 분포 매칭: 양방향 교사를 활용해 학습 중 상태와 실제 롤아웃에서 만나는 상태의 차이를 줄입니다.

그 결과 추론 시 1단계, 2단계, 4단계 디노이징 예산을 사용하는 학생 모델이 만들어집니다. 예산별로 모델을 특화하면 하나의 모델에 모든 지연시간과 품질 요구를 맡기는 대신, 빠른 반응과 높은 시각 품질 사이의 선택을 명확히 할 수 있습니다.

실시간 상호작용과 리플레이 정제

ForgeWM은 배포 단계에서도 두 경로를 제공합니다. 플레이 중에는 1단계 학생 모델이 최소한의 지연으로 초안 화면을 생성해 조작 응답성을 우선합니다. 이 결과를 저장해 두면 리플레이나 후처리 단계에서 다시 노이즈를 추가한 뒤 정제할 수 있습니다. 완전히 새로운 노이즈에서 다시 생성하는 것이 아니라, 플레이어가 실제로 경험한 궤적을 출발점으로 삼는 방식입니다.

논문에 따르면 리플레이 시 정제된 결과는 4단계 참조 모델에 해당하는 품질을 보였으며, 노이즈에서 재생성하는 경우보다 경험한 궤적에 약 3배 가까웠습니다. 즉, 빠른 생성 결과를 버리는 근사치가 아니라 나중에 개선할 수 있는 중간 결과로 활용합니다.

평가와 의미

쌍을 이룬 Minecraft 궤적 평가에서 ForgeWM은 비교된 시스템 중 이미지 품질, 참조 움직임 프로파일과의 일치도, 액션 방향 정확도, 마우스 제어 정확도에서 좋은 결과를 기록했으며 참조 LPIPS도 가장 낮았습니다. 동일한 네 단계 학습 레시피는 게임패드로 조작하는 FPS 게임에도 적용되었습니다.

이 연구의 핵심 의미는 소수 단계 비디오 증류와 인터랙티브 월드 모델링을 하나의 학습 흐름으로 연결했다는 점입니다. 생성 속도, 입력 정렬, 자기회귀 안정성을 각각 따로 보정하는 대신 함께 다룹니다. 장기적인 세계 시뮬레이션의 모든 문제가 해결된 것은 아니지만, 키보드·마우스·게임패드를 지원하는 공개적이고 재현 가능한 구현은 실제로 플레이 가능한 실시간 비디오 월드 모델을 만드는 구체적인 경로를 제시합니다.

출처: Hugging Face Daily Papers