CORAL-KV, 계층 간 예측으로 비디오 확산 모델의 KV 캐시 압축

들어가며

자기회귀 비디오 확산 모델은 이미 생성한 프레임의 정보를 어텐션 키-값(KV) 캐시에 저장합니다. 영상이 길어질수록 캐시가 계속 커지기 때문에 GPU 메모리가 장시간 생성의 주요 병목이 될 수 있습니다. 캐시를 압축하면 메모리 사용량을 낮출 수 있지만, 복원 오차가 이후 프레임의 어텐션 계산에 반복적으로 반영되면서 화질 저하나 시간적 불연속이 발생할 수 있습니다.

arXiv에 공개된 CORAL-KV는 캐시의 계층 간 상관관계를 활용해 이 문제를 해결하려는 압축 프레임워크입니다.

작동 방식

기존 클러스터링 기반 양자화는 주로 하나의 계층 안에서 유사한 키와 값 벡터를 그룹화한 뒤 잔차를 양자화합니다. CORAL-KV는 한 계층의 캐시 상태를 이용해 다음 계층의 키와 값을 먼저 예측합니다. 이후 원본 벡터 전체가 아니라 예측에서 남은 잔차만 양자화합니다. 계층 간 예측이 충분히 정확하다면 저장해야 할 정보량을 줄일 수 있습니다.

예측기에는 블록 대각 성분과 저랭크 성분을 결합한 block-DPLR 구조가 사용됩니다.

• 블록 대각 성분은 각 어텐션 헤드 내부의 채널 관계를 모델링합니다.
• 전역 저랭크 성분은 서로 다른 헤드 사이의 의존성을 포착합니다.

이 구조는 품질과 메모리 사이의 선택지도 제공합니다. 예측기를 여러 영상에서 재사용하면 추가 적응 비용을 낮출 수 있습니다. 반대로 현재 영상에 맞춰 경량 블록 대각 예측기를 다시 적합하면 더 높은 복원 품질을 기대할 수 있습니다.

실험 결과

HY-WorldPlay와 MAGI-1을 대상으로 한 평가에서 재사용 가능한 설정은 QVG-4보다 PSNR을 각각 0.32 dB와 4.95 dB 높였습니다. 동시에 캐시 메모리 사용량은 각각 48%와 37% 감소했습니다. 영상 적응형 설정은 MAGI-1에서 QVG-Pro보다 PSNR이 3.77 dB 높았고, 캐시 메모리도 33.7% 적게 사용했습니다.

논문은 긴 생성 과정에서도 CORAL-KV가 더 높은 복원 충실도를 유지하고 시간적 불연속을 줄였다고 보고합니다. 생성 지연 시간은 비교 방법과 비슷한 수준이었습니다. 다만 이러한 수치는 논문에 제시된 실험 조건에 따른 결과이므로, 실제 이득은 모델 구조와 양자화 설정, 영상 길이에 따라 달라질 수 있습니다.

의미와 과제

CORAL-KV의 핵심은 KV 캐시를 계층별로 독립적으로 압축하는 대신, 비디오 모델 내부의 계층 간 구조를 활용했다는 점입니다. 계층 간 상관관계를 안정적으로 재사용할 수 있다면, 더 적은 메모리로 긴 영상을 생성하면서 압축 오차의 누적도 완화할 가능성이 있습니다.

실제 배포에서는 영상 간 예측기를 재사용할지, 영상마다 다시 적합할지를 선택해야 합니다. 후자는 품질 향상이 기대되지만 추가적인 적응 작업이 필요합니다. 예측기 적합과 잔차 양자화가 다양한 하드웨어와 서빙 시스템에서 발생시키는 실제 비용도 추가 검증이 필요한 부분입니다.

출처: arXiv