L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성

들어가며

인터랙티브 월드 모델은 사용자의 이동과 행동에 맞춰 화면을 계속 생성해야 한다. 하지만 탐색 시간이 길어지면 과거에 본 장소와 새로 생성된 장면 사이의 공간적 일관성을 유지하기 어려워진다. 시간적 문맥에만 의존하는 방식은 장거리 탐색에서 정보가 부족해질 수 있고, 명시적인 3D 메모리는 생성 스트림이 길어질수록 커진다. 기존 3D 메모리 파이프라인은 메모리를 RGB 이미지로 렌더링한 뒤 다시 VAE로 인코딩해 비디오 생성 모델에 넣는 경우가 많아, 실시간 처리에도 부담이 된다.

KAIST 연구팀이 제안한 L3G-World는 Latent 3D Gaussian Memory, 즉 잠재 3D 가우시안 메모리로 이 문제를 해결하려 한다. 이 표현은 3D 가우시안을 이용해 장면 구조를 저장하는 동시에 각 가우시안에 VAE 잠재 특징을 함께 보관한다. 따라서 메모리를 RGB 이미지로 복원하고 다시 잠재 공간으로 바꾸는 대신, 비디오 확산 트랜스포머(DiT)가 사용하는 잠재 공간으로 직접 렌더링할 수 있다.

핵심 내용

• 장면 범위에 따라 커지는 메모리: 메모리 업데이터는 새롭게 관측된 영역에 가우시안을 만들고, 기존 가우시안을 개선한다. 메모리 증가량은 생성된 프레임 수보다 탐색한 장면의 범위에 더 밀접하게 연결된다.
• RGB 변환 단계 제거: 가우시안에 VAE 특징을 저장함으로써 RGB 렌더링과 재인코딩을 생략하고, 생성 모델의 잠재 표현을 직접 조건으로 사용할 수 있다.
• 두 모듈의 교대 작동: 메모리 업데이터가 공간 기억을 확장하거나 보정하면 DiT가 해당 기억과 사용자 행동을 바탕으로 다음 영상을 생성한다. 두 과정은 자기회귀적으로 반복된다.
• 보고된 실시간 성능: 논문은 최대 9 FPS의 생성을 제시한다. 각 지표에서 가장 효율적인 기존 3D 메모리 기준과 비교해 3D 프리미티브 수는 최대 38.6배 적고, 메모리 업데이트는 3.2배 빠르며, 메모리 렌더링은 359배 빠르다고 보고했다.

의미와 한계

L3G-World의 핵심은 단순히 3D 메모리를 압축하는 데 있지 않다. 장기간 유지해야 하는 공간 정보와 비디오 생성기가 요구하는 잠재 표현을 하나의 처리 경로로 연결한 것이 중요하다. 이미 탐색한 장소를 다시 방문하거나, 넓은 공간을 계속 이동하거나, 보지 못한 영역을 확장해야 하는 월드 모델에서 프레임 수에 따른 메모리 증가와 반복적인 이미지 변환 비용을 줄일 가능성이 있다.

다만 제공된 자료만으로는 장면 종류, 하드웨어 구성, 더 복잡한 상호작용에 따른 성능 변화까지 확인할 수 없다. 따라서 9 FPS는 논문의 실험 조건에서 얻은 결과로 이해해야 하며, 모든 배포 환경에서 보장되는 속도로 일반화해서는 안 된다. 그럼에도 3D 기억을 생성 모델의 잠재 공간에 직접 연결하는 설계는 실시간 월드 모델을 위한 현실적인 방향을 보여준다.

출처: Hugging Face Daily Papers