Frechet Forcing: 짧은 영상으로 장기 안정성을 높이는 세계 모델

문제의 배경

비디오 세계 모델은 다음 한 프레임만 예측하는 시스템이 아니다. 과거 영상과 연속적인 행동 입력을 바탕으로, 에이전트가 계속 상호작용할 수 있는 미래를 여러 청크로 생성해야 한다. 하지만 많은 모델은 짧은 영상 클립으로 학습된다. 학습 범위를 넘어가면 모델이 만든 출력이 다시 입력 컨텍스트가 되고, 초기의 작은 예측 오류가 반복적으로 확대된다. 그 결과 장면이 서서히 변하거나 물체가 일그러지고, 입력된 행동과 생성 결과의 관계가 약해질 수 있다.

교사 모델 없이 롤아웃을 제어하기

일반적인 해결책은 모델이 직접 생성한 장기 롤아웃을 학습에 포함하고, 교사 모델과의 분포 매칭 증류로 이를 보정하는 것이다. 그러나 행동 조건 세계 모델에서는 교사 선택이 어렵다. 외부 비디오 모델은 주어진 행동을 이해하지 못할 수 있으며, 사전 학습된 원래 모델을 교사로 사용하면 학생과 같은 드리프트를 반복할 가능성이 있다.

Frechet Forcing은 장기 롤아웃이 특정 교사나 기록된 긴 미래를 프레임 단위로 복제할 필요는 없다고 본다. 필요한 것은 현재 장면에 맞는 현실적인 연속성과 명령된 행동에 대한 반응이다. 이를 위해 세 가지 제약을 함께 사용한다.

• 생성 앵커링: 실제 클립의 끝에 모델이 생성한 이력을 붙인 뒤 플로 매칭 손실을 적용한다. 모델이 실제 배포에서 만나게 될 자기 조건화 컨텍스트를 학습에 반영하는 방식이다.
• 컨텍스트 충실도: 자유 롤아웃의 잠재 특징 통계를 시작점인 실제 클립의 통계와 비교한다. Fréchet 거리를 활용해 원래 장면의 정체성과 공간적 구성이 지나치게 바뀌지 않도록 한다.
• 현실성 매칭: 고정된 지각 특징 공간에서 생성 프레임과 실제 프레임의 분포를 비교한다. 특정 미래 프레임을 그대로 맞추지 않아도 시각적으로 자연스러운 결과를 유도할 수 있다.

세 가지 목표는 모두 짧은 실제 영상에서 만들 수 있다. 따라서 수천 프레임에 달하는 실제 미래 영상, 온라인 비평가, 별도의 교사 모델이 필요하지 않다. 행동 추종은 기존의 조건부 생성 손실이 계속 담당한다.

결과와 영향

논문은 253프레임 클립으로 사전 학습된 MiniWorld-1B를 최대 381프레임의 클립으로 미세 조정했다. 보고된 결과에 따르면 36 GPU 시간 이내의 미세 조정으로 생성 궤적이 4000프레임을 넘어서도 안정적으로 유지됐다. 로봇 조작과 카메라 제어 탐색에서도 모델은 입력된 행동에 계속 반응했다.

이 연구의 중요한 점은 장기 학습을 위해 반드시 장시간 시연 데이터를 확보해야 한다는 전제를 완화한 것이다. 짧은 실제 데이터에서 얻은 통계로 자기 생성 미래의 분포를 제어하면, 연속적인 장기 데이터를 모으기 어려운 로봇 분야에서도 새로운 학습 경로를 열 수 있다. 또한 실제 사용 방식이 자기회귀적인 스트리밍 생성 모델의 배포 환경을 학습 과정에 더 직접적으로 반영한다.

다만 Fréchet 거리는 특징 분포의 유사성을 측정할 뿐, 모든 프레임과 행동 결과의 정확성을 보장하지는 않는다. 물체 상태의 지속성, 세밀한 행동 수행, 새로운 작업에 대한 일반화 능력을 확인하려면 추가적인 평가가 필요하다.

출처: Hugging Face Daily Papers