World in World, 동결된 비디오 월드 모델에 유연한 제어를 더하다

배경

비디오 월드 모델은 다음 프레임을 만드는 데서 그치지 않고, 사용자가 기록된 사건을 탐색하고 카메라를 움직이며 이전에 방문한 위치로 돌아가도 장면의 정체성을 유지하도록 해야 한다. 자기회귀 비디오 모델은 긴 롤아웃을 생성할 수 있지만, 유연한 제어에는 여전히 어려움이 있다. 생성 결과가 원래 사건과 시간적으로 동기화되어야 하고, 관측된 내용은 요청한 시점에 맞게 배치되어야 하며, 새로 드러난 영역은 그럴듯하게 완성되어야 한다. 다시 방문했을 때 과거 생성 결과의 외관을 복원하는 일도 필요하다.

논문 「World in World」는 이 문제를 재학습 없이 해결하기 위한 추론 시점 인터페이스를 제안한다. 기반이 되는 인과적 비디오 모델은 동결한 채, 여러 종류의 제어 증거를 모델의 기본 자기주의 메커니즘으로 전달한다.

핵심 구성

• 시각 증거의 통합: 원본 비디오 관측, 목표 시점의 장면 투영, 새롭게 노출된 피사체 영역의 완성을 돕는 기하 렌더링, 롤링 캐시 밖에서 검색한 생성 상태를 카메라와 시간 정보가 포함된 시각 상태로 바꾼다.
• 기본 자기주의 활용: 제어 과제마다 별도의 전용 모듈을 추가하는 대신, 동결된 비디오 모델의 자기주의가 여러 증거를 읽도록 설계한다.
• 대응 관계 라우팅: 대응 라우터는 지속적인 점의 정체성과 기하 정보를 함께 사용해 토큰 대응 관계를 설정한다. 충분한 지지가 있는 질의는 일치하는 원본 비디오 토큰으로 유도되어, 시점이 달라져도 장면 요소의 일관성을 유지하도록 돕는다.
• 증거별 영향 조절: 증거별 어텐션 CFG(EWA)는 같은 디노이징 순방향 계산에서 얻은 어텐션 반응을 바탕으로 각 보조 채널의 추가 기여를 독립적으로 조절한다.

지원하는 탐색 방식

이 인터페이스는 카메라 제어 비디오 재렌더링, 장기 탐색 중 재방문, 인간 동작 전이에 적용된다. 관측된 장면 요소는 목표 시점의 투영 정보와 함께 배치할 수 있고, 피사체의 보이지 않던 부분이 나타날 때는 기하 렌더링을 보완 단서로 사용할 수 있다. 또한 롤링 캐시를 넘어선 과거 생성 상태를 검색해 긴 탐색 과정에서 이전 결과를 다시 참조할 수 있는 경로를 제공한다.

논문은 다양한 시점 변화가 있는 카메라 제어 재렌더링을 대상으로 지각 품질, 시간적 일관성, 카메라 추적 정확도를 평가한다. 제공된 소재에는 구체적인 수치가 포함되어 있지 않으므로, 이 연구를 모든 전용 학습 방식을 대체했다는 결과라기보다 동결 모델의 추론 단계 제어 범위를 넓히는 프레임워크로 이해하는 편이 타당하다.

의미와 남은 과제

World in World의 핵심 관점은 모델을 작업마다 다시 만드는 대신, 관측·기하·시간·기억에 해당하는 증거를 어떻게 정리하고 라우팅할지에 있다. 하나의 인터페이스로 여러 신호를 조합할 수 있다면, 기존 월드 모델의 능력을 유지하면서 탐색 가능한 비디오 환경이나 시점 변환 응용을 확장하기 쉬워질 수 있다.

다만 성능은 원본 비디오의 품질, 기하 단서, 점 대응 관계, 검색된 생성 상태, 그리고 동결 모델이 보이지 않는 내용을 합성하는 능력에 좌우된다. 극단적인 시점 변화나 매우 긴 상호작용에서 오류가 누적되는 상황에 대해서는 제공된 요약만으로 충분한 결론을 내리기 어렵다. 향후에는 이런 조건에서의 안정성을 별도로 검증해야 한다.

출처: Hugging Face Daily Papers