QuantWM, 비디오 월드 모델의 2비트 KV 캐시 양자화에서 주의 패턴을 보존

비디오 월드 모델은 이전 프레임의 시간적·공간적 정보를 이후 생성에서 참조하기 위해 Key-Value(KV) 캐시를 유지합니다. 이 캐시는 긴 시간 범위의 일관성을 높이는 데 도움이 되지만, 생성이 진행될수록 크기가 커져 배포와 추론 단계의 주요 메모리 병목이 됩니다. 따라서 KV 캐시를 2비트로 양자화하는 방법이 주목받고 있습니다. 그러나 일반적인 평가에서 거의 손실이 없어 보이는 기존 방식도 비디오 월드 모델에서는 심한 시간적 깜빡임과 시각적 품질 저하를 일으킬 수 있습니다.

QuantWM은 이 문제를 단순한 값의 재구성 오차가 아니라 어텐션 동작의 보존 문제로 정의합니다. 논문이 관찰한 흥미로운 현상은 Key 양자화의 재구성 오차가 Value보다 작더라도 최종 출력 저하는 더 클 수 있다는 점입니다.

그 이유는 Key가 어텐션에서 수행하는 역할에 있습니다. Key가 양자화로 변하면 Query와 함께 계산되는 어텐션 로짓도 달라집니다. 그러면 모델이 시간과 공간 차원에서 선택하는 token이 바뀔 수 있고, 이전 프레임에서 이어져야 할 정보를 다른 token에서 참조하게 될 수 있습니다. 작은 수치 변화가 프레임 간 불안정이나 화면 깜빡임으로 확대되는 것입니다. 따라서 모든 캐시 값을 평균적으로 원래 값에 가깝게 만드는 것만으로는 충분하지 않으며, 모델의 참조 경로를 유지하는 것이 중요합니다.

QuantWM은 다음의 두 가지 보완 기법을 사용합니다.

• 양자화 민감도 인식 클러스터링(QSAC): 과거 Query가 각 채널에 얼마나 민감한지와 잔차 범위를 함께 고려해 INT2에 적합한 Key 중심을 선택합니다. 어텐션에 중요한 채널에서 발생하는 양자화 오차를 줄이는 것이 목표입니다.
• 주요 부분공간 어텐션 보상(PSAC): 양자화 이후에도 남는 Key 오차를 Query의 지배적인 부분공간 방향에서 보정해, 변형된 어텐션 관계를 복원하려고 합니다.
• 학습 없는 처리: 별도의 추가 학습 단계 없이 KV 캐시 양자화 과정에서 적용하도록 설계되었습니다.

이 연구의 의미는 비디오 생성 시스템의 캐시 압축을 평가하는 기준을 넓힌 데 있습니다. 텐서의 평균 재구성 오차가 낮다고 해서 생성 결과가 안정적인 것은 아닙니다. 특히 긴 시간 의존성을 가진 모델에서는 어떤 token을 선택하는지가 수치 정밀도 자체만큼 중요할 수 있습니다. 어텐션 경로를 유지할 수 있다면 낮은 비트 표현에서도 프레임 간 일관성을 지킬 가능성이 있습니다.

현재 제공된 소재에는 전체 실험표, 구체적인 메모리 절감량, 모델별 상세 비교 결과가 포함되어 있지 않습니다. 따라서 실제 배포 효과를 판단하려면 논문 전체의 실험 결과를 추가로 확인해야 합니다. 그럼에도 QuantWM은 비디오 월드 모델 양자화에서 핵심 질문을 분명히 합니다. 가장 작은 수치 오차를 만드는 것이 항상 가장 안정적인 영상을 만드는 것은 아니며, 어텐션이 어떤 시공간 token을 선택하는지 보존하는 것이 깜빡임을 줄이는 핵심이 될 수 있습니다.

출처: Hugging Face Daily Papers