RAR, 인터랙티브 월드 모델의 생성 속도를 적응적으로 제어

배경

인터랙티브 월드 모델은 사용자의 행동이나 카메라 움직임에 반응하는 시각적 환경을 지속적으로 생성하는 것을 목표로 한다. 이때 중요한 것은 프레임을 빠르게 만드는 것만이 아니다. 생성되는 프레임이 실제 세계의 시간 흐름을 일관되게 표현해야 한다.

기존 시스템 대부분은 학습과 롤아웃에 하나의 고정된 시간 속도를 사용한다. 따라서 실행 환경의 생성 처리량이 학습 당시와 달라지면, 모델이 만든 세계가 의도보다 빠르게 또는 느리게 진화할 수 있다. 연구진은 이 현상을 ‘시간 속도 결합’으로 정의하고, Rate-Adaptive Rollout(RAR) 프레임워크를 제안했다.

핵심 내용

• 물리 시간 기준의 정렬. RAR의 핵심 구성요소인 Stride-RoPE는 서로 다른 간격으로 샘플링한 잠재 비디오 프레임을 단순한 시퀀스 위치가 아니라 공통 물리 시간 좌표에 배치한다. 이를 통해 롤아웃 속도가 바뀌어도 프레임 사이의 시간적 의미를 유지하도록 돕는다.
• 여러 속도와 미학습 속도 지원. 모델은 하나의 사전 설정 속도에만 묶이지 않고, 학습에서 직접 보지 않은 중간 속도에서도 생성할 수 있도록 설계됐다. 하드웨어 처리량, 시스템 부하, 상호작용 요구에 맞춘 동적 조정의 기반이 될 수 있다.
• 이력 보존형 온라인 전환. 롤아웃 도중 속도를 바꿀 때 과거 이력을 초기화하거나 KV 캐시를 폐기하지 않는다. 따라서 속도 전환 뒤에도 환경 상태와 물리적 시간의 연속성을 유지하는 것이 목표다.
• 세밀한 움직임과 긴 시간 범위의 공동 학습. 고정된 컨텍스트 길이에서는 높은 샘플링 속도가 미세한 움직임을 잘 포착하지만, 표현할 수 있는 물리적 시간은 짧아진다. RAR는 멀티 스트라이드 비디오 샘플링으로 세밀한 동역학과 장기 변화를 함께 학습한다.

의미와 한계

RAR의 핵심 의미는 단순히 재생 속도를 여러 개 제공하는 데 있지 않다. 롤아웃 속도를 세계의 물리적 진행과 분리된 제어 변수로 다룬다는 점이 중요하다. 실제 서비스에서는 하드웨어 성능과 생성 처리량이 계속 변할 수 있으므로, 속도를 조절하더라도 세계가 부자연스럽게 빨라지거나 느려지지 않는 특성이 필요하다.

Stride-RoPE는 ‘얼마나 많은 프레임을 생성했는가’와 ‘그 프레임이 얼마나 긴 물리 시간을 나타내는가’를 구분하는 관점을 제공한다. 멀티 스트라이드 학습은 제한된 컨텍스트 안에서 더 긴 물리적 범위를 다루기 위한 방법으로 볼 수 있다.

제공된 자료에 따르면 RAR는 행동 제어 및 카메라 제어 환경에서 다중 속도 롤아웃과 온라인 전환을 평가했다. 또한 높은 속도에서의 생성 품질을 유지하면서 물리적 시간 범위를 확장했고, 사전학습된 월드 모델로의 전이에서도 지각 품질을 보존한다고 설명된다. 다만 구체적인 데이터셋, 평가 지표, 비교 수치는 제공되지 않았으므로 개선 폭과 적용 한계는 원문에서 확인해야 한다. 그럼에도 RAR는 실시간 월드 모델의 시간 표현과 배포 유연성을 함께 다루는 흥미로운 접근이다.

출처: Hugging Face Daily Papers