World Observer, 세계 모델이 시야 밖 변화를 추적하는 방법

문제의 배경

비디오 세계 모델은 에이전트의 행동을 바탕으로 환경의 다음 변화를 예측합니다. 하지만 많은 모델은 에이전트가 현재 보고 있는 화면에 집중합니다. 물체가 화면 밖으로 이동하거나 가려지면, 모델은 그 물체의 위치와 상태, 움직임에 관한 새로운 시각적 증거를 얻지 못합니다. 이후 물체가 다시 화면에 나타날 때 상태가 갑자기 바뀌거나 움직임이 이어지지 않고, 세부 외관이 달라지는 문제가 생길 수 있습니다.

World Observer는 이 한계를 해결하기 위해 행동과 관찰을 서로 다른 역할로 분리합니다. 시스템은 에이전트 중심의 투시 시점을 생성하는 동시에, 장면의 특정 영역을 계속 바라보는 하나 이상의 관찰자 시점도 생성합니다.

핵심 설계

• 행동 시점과 관찰 시점의 분리: 행동 시점은 에이전트가 경험하는 환경을 표현하고, 관찰자는 에이전트가 볼 수 없는 영역의 상태를 추적합니다.
• 시야 밖 변화의 지속: 물체가 행동 시점의 화면을 벗어난 뒤에도 관찰자 화면에서 계속 움직이고 변하도록 합니다. 물체가 다시 나타나면 그동안의 변화가 더 일관된 상태 복원에 활용됩니다.
• 공유 파노라마 기반 정렬: 행동 시점과 관찰자 시점은 하나의 공유 파노라마 소스에서 워핑해 생성됩니다. 따라서 단순한 외관 유사성에 의존하지 않고 두 시점 사이에 명시적인 기하학적 대응을 만들 수 있습니다.
• Observer Sink: 고해상도 투시 참조를 사용해 물체가 재진입할 때 필요한 미세한 외관 정보를 복원합니다. 여러 시점 변환 과정에서 발생하는 세부 정보 손실을 줄이는 장치입니다.
• 확장 가능한 관찰 배치: 관찰자를 장면의 여러 위치에 배치해 더 넓은 영역을 커버할 수 있습니다. 제어 신호를 통해 시야 밖의 변화를 유도하거나 관찰할 수도 있습니다.

평가와 의미

일반적인 영상 품질 지표는 결과가 자연스럽게 보이는지는 평가할 수 있지만, 물체가 화면 밖에 있는 동안 세계 상태가 올바르게 유지됐는지는 충분히 측정하기 어렵습니다. World Observer는 이를 위해 세계 공간 기반 평가 지표와 실제·합성 장면으로 구성된 벤치마크를 제안합니다. 물체가 화면에서 사라진 뒤 다시 나타날 때까지의 동역학을 직접 평가하려는 접근입니다.

논문 초록에 따르면 World Observer는 시야 밖 동역학을 크게 개선하면서도 시각적 충실도, 카메라 제어, 3D 준수성에서 경쟁력 있는 결과를 보였습니다. 이 연구의 핵심은 카메라를 하나 더 추가하는 데 그치지 않습니다. 에이전트가 직접 보는 정보만으로 세계 상태를 유지하는 대신, 관찰 자원을 장면의 중요한 위치에 배치하는 방식으로 세계 모델의 상태 관리 구조를 바꾼 것입니다.

이 아이디어는 로봇 내비게이션, 대화형 시뮬레이션, 게임 세계 생성에 활용될 가능성이 있습니다. 다만 제공된 자료에는 구체적인 수치 결과, 계산 비용, 실시간 처리 성능, 구현 공개 범위가 포함되어 있지 않습니다. 여러 관찰자 시점을 동시에 운영할 때의 실제 비용과 확장성은 전체 논문과 프로젝트 자료를 추가로 확인해야 합니다.

출처: Hugging Face Daily Papers