Velox, 공간 메모리로 비디오 월드 모델 생성 가속

배경

비디오 월드 모델은 행동과 카메라 움직임을 입력으로 받아 긴 시각적 롤아웃을 생성하며, 상호작용형 시뮬레이션의 인터페이스로 활용될 수 있습니다. 하지만 롤아웃이 길어질수록 일관성을 유지하기 위해 과거에 생성한 장면을 계속 참조해야 합니다. 객체의 위치와 장면 구조, 카메라 관점이 이어져야 하기 때문입니다. 청크 단위 비디오 확산 모델은 보통 이 정보를 KV 캐시에 쌓지만, 캐시가 증가하면 뒤쪽 청크가 처리해야 할 어텐션 범위도 함께 커집니다.

논문 「Velox: Spatial Memory Makes World Models Efficient」는 이 병목을 모델 재학습 없이 완화하는 방법을 제안합니다. 핵심은 모든 과거 정보를 동일하게 읽는 대신, 현재 영역과 공간적으로 대응하는 기억을 우선 선택하는 것입니다.

Velox의 작동 방식

• 과거 정보를 공간 구조로 표현: Velox는 과거 블록을 단순한 시간 순서가 아니라 깊이 구간을 가진 카메라 절두체 슬랩으로 나타냅니다. 이를 통해 과거 영역과 현재 시야 사이의 기하학적 관계를 계산할 수 있습니다.
• 현재 블록의 깊이 추정: 현재 블록의 깊이는 최근 정보를 우선하는 multiwarp로 얻습니다. 이후 현재 깊이와 과거 절두체 슬랩의 겹침을 비교해 관련성이 높은 메모리 블록을 찾습니다.
• 소프트한 중요도 조정: 기하학적 커버리지가 충분한 영역에서는 슬랩 겹침 정도가 모델이 산출한 블록 중요도를 부드럽게 조정합니다. 반대로 커버리지가 부족한 영역은 기하학적 편향을 억지로 적용하지 않고 모델의 기본 라우팅을 유지합니다.
• 하드웨어 실행에 맞춘 블록 단위: 고정된 토큰 블록 크기를 사용해 FlashAttention 계열의 타일 실행과 결합하기 쉽게 했습니다. 절두체 슬랩 구성은 디노이징과 비동기적으로 수행되며, 논문 초록에서는 동일한 H200에서 실행된다고 설명합니다.

보고된 성능

제공된 초록에 따르면 48번째 청크에서 Velox는 어텐션을 4.36배, 디노이징을 2.43배 가속했습니다. 158개 사례로 구성된 WBench 내비게이션 분할에서는 API-free 평균 점수가 밀집 어텐션 기반 LingBot-Fast-Cam과 0.15점 이내의 차이를 보였습니다. 이는 적어도 보고된 조건에서 과거 컨텍스트를 선택적으로 읽어도 내비게이션 평가 결과를 크게 훼손하지 않았음을 시사합니다.

Velox의 차별점은 메모리 자체를 새로운 형태로 압축하는 것이 아니라, 기존 메모리에 접근하는 방식을 바꾸는 데 있습니다. 카메라가 이동하는 상황에서는 가장 최근의 프레임이 항상 가장 유용한 것은 아닙니다. 시간상 더 오래된 프레임이라도 현재와 같은 공간을 보여 준다면 장면 일관성에 더 중요한 정보가 될 수 있습니다. Velox는 이 공간적 대응을 어텐션 라우팅에 반영합니다.

의미와 한계

학습이 필요 없다는 점은 기존 월드 모델에 추가하기 쉬운 요소입니다. 또한 고정 블록 단위 라우팅을 GPU의 타일 실행과 연결해, 선택적 컨텍스트 접근을 실제 추론 비용 절감으로 이어지게 하려는 설계를 취했습니다.

다만 결과의 적용 범위에는 주의가 필요합니다. 이 방법은 스트리밍 기하 정보, 깊이 추정, 절두체 간 대응에 의존합니다. 가림이 심하거나 장면 기하가 불안정하면 공간 라우팅의 이점이 줄어들 수 있습니다. 현재 제공된 자료는 특정 내비게이션 벤치마크와 H200 환경의 결과를 중심으로 하므로, 다른 모델과 작업, 하드웨어에서도 같은 효과가 나타난다고 단정하기는 어렵습니다.

Velox가 제시하는 관점은 분명합니다. 장기 생성에서 필요한 것은 무작정 더 많은 기억을 읽는 것이 아니라, 현재 시점과 관련된 공간 기억을 더 빠르게 찾는 방법일 수 있습니다.

출처: Hugging Face Daily Papers