PPMem, 평면 메모리로 비디오 월드 모델의 공간 일관성을 높이다

들어가며

비디오 월드 모델이 환경을 장시간 생성하고 탐색하려면 직전 프레임 이상의 기억이 필요하다. 카메라가 이동했을 때 벽과 바닥의 위치, 공간의 연결 관계, 이미 관찰한 구조를 유지하지 못하면 생성이 진행될수록 장면 배치가 흔들릴 수 있다. 서로 다른 시점의 영상이 같은 공간을 묘사해야 하는 상황에서는 이런 공간 드리프트가 특히 큰 문제가 된다.

Robbyant Research가 제안한 PPMem은 이 문제를 평면 프리미티브 기반의 지속적인 3D 메모리로 다룬다. 픽셀 단위의 3D 점을 대량으로 저장하는 대신, 벽·바닥·천장·건물 입면처럼 장면을 지배하는 구조를 방향과 위치를 가진 평면으로 표현한다.

작동 방식

PPMem은 비디오 확산 트랜스포머에 평면 예측 헤드와 Depth Token Fusion(DTF) 모듈을 결합한다. 자기회귀 방식으로 비디오 청크를 생성할 때 RGB 프레임뿐 아니라 해당 장면의 평면 기하도 함께 예측한다. 새로 추정한 평면은 기존 메모리와 병합되고, 다음 청크에서는 이 메모리를 렌더링한 깊이가 DTF를 통해 생성 과정에 입력된다.

• 장면의 뼈대를 압축: 평면 프리미티브는 넓은 구조적 표면을 적은 요소로 설명한다. 각 프리미티브는 7개의 파라미터로 표현된다.
• 기하 정보를 생성 조건으로 사용: 평면 메모리는 단순한 부가 출력이 아니다. 렌더링된 깊이가 이후 프레임 생성에 다시 사용되면서 이미 구축한 공간 배치를 참조하게 한다.
• 생성 과정에서 점진적으로 보정: 새로운 시점에서 장면이 더 관찰되면 평면을 기존 메모리에 추가하거나 수정할 수 있다. 처음 예측을 고정된 정답으로 취급하지 않는 구조다.
• 여러 기하 출력 지원: 공유 백본이 RGB와 기하를 함께 예측하므로 미터 규모의 깊이, 표면 법선, 내보낼 수 있는 평면 표면을 동시에 얻을 수 있다.

논문은 전체 장면의 메모리가 약 10만 개의 평면 프리미티브와 약 5MB로 구성될 수 있으며, 픽셀 단위 포인트 클라우드보다 3개 규모 정도 더 작다고 설명한다. 핵심은 저장 용량만 줄이는 데 있지 않다. 평면은 점들의 무질서한 집합이 아니라 위치, 방향, 표면이라는 의미를 갖는 명시적 표현이다.

실험과 영향

DL3DV와 RealEstate10K에서의 평가에서 PPMem은 기존 3D 기반 월드 모델보다 비디오 품질이 높았고, 깊이·법선·평면 기하를 함께 생성했다고 보고됐다. 또한 큰 시점 변화가 있는 상황에서 수백 프레임 동안 장면 일관성을 유지했다고 제시한다.

이 연구가 보여주는 방향은 월드 모델의 기억을 단순히 긴 시각적 컨텍스트로 확장하는 것과 다르다. 기억을 조회하고 수정할 수 있는 지속적인 기하 상태로 다루기 때문이다. 이는 내비게이션, 체화형 에이전트, 상호작용형 환경 생성처럼 동일한 장소를 반복적으로 참조해야 하는 응용에서 의미가 있다.

다만 평면 표현은 건축물이나 구조적인 표면에는 적합하지만, 곡면과 작은 물체, 계속 움직이는 요소까지 충분히 설명하기는 어렵다. 더 복잡하고 동적인 환경에서는 평면 메모리를 다른 3D 표현과 어떻게 결합할지가 후속 과제가 될 것이다.

출처: Hugging Face Daily Papers