DeepSeek-V4.1-Flash, 장기 에이전트 위한 KV 캐시 압축의 한계 확장

들어가며

긴 컨텍스트 모델의 과제는 단순히 더 많은 토큰을 입력받는 데 있지 않습니다. 입력을 처리하는 데 필요한 연산량, 계산 결과를 저장하는 메모리, 그리고 메모리 계층 사이에서 상태를 이동시키는 대역폭까지 함께 관리해야 합니다. 특히 장기 에이전트는 도구 호출 결과와 중간 단계, 과거 대화 기록을 반복적으로 참조하므로 출력보다 입력이 훨씬 많은 형태로 동작할 수 있습니다.

DeepSeek-V4.1-Flash는 이 문제를 KV 캐시 압축을 중심으로 다루는 모델입니다. 552B 백본을 가진 멀티모달 Mixture-of-Experts 모델이며, 최대 100만 토큰의 컨텍스트를 지원합니다. 핵심은 파라미터 규모 자체보다 HBM과 외부 저장장치에 걸쳐 발생하는 KV 캐시 부담을 줄이는 데 있습니다.

핵심 내용

• 프리필과 디코딩의 계산량을 다르게 배분합니다. Causal Encoder-Decoder, 즉 CED 아키텍처를 적용해 프리필에서는 토큰당 8B, 디코딩에서는 16B 파라미터를 활성화합니다. 긴 입력을 읽고 상대적으로 짧은 응답을 생성하는 에이전트 워크로드의 특성을 겨냥한 설계입니다.
• 계층 간 재사용과 저정밀도 저장을 결합합니다. Compressed Sparse Attention 2, 즉 CSA2에서 계층 간 KV 캐시 재사용을 적용하고 FP4 KV 캐싱을 함께 사용합니다. 항상 HBM에 상주하는 전역 KV 캐시의 사용량은 토큰당 890바이트로, DeepSeek-V4-Flash의 해당 수치 중 약 4분의 1이라고 설명됩니다.
• 영구 캐시에는 별도의 배포 최적화를 적용합니다. SSD나 호스트 메모리에 저장되는 KV 캐시를 줄이기 위해 SWA Bounded Replay를 사용합니다. 논문이 제시한 수치에 따르면 영구 KV 캐시 footprint는 DeepSeek-V4-Flash의 약 8분의 1입니다.
• 압축만을 위해 성능을 희생한 설계는 아닙니다. 제공된 자료는 캐시 크기가 크게 줄었음에도 기준 모델보다 더 나은 성능을 보였다고 설명합니다. 또한 45T 토큰 규모의 멀티모달 코퍼스로 사전학습하고, 텍스트 및 멀티모달 에이전트 시나리오를 대상으로 종합적인 후속 학습을 진행했습니다.

의미와 영향

이 연구의 의미는 단일 수치로 표현되는 캐시 절감에만 있지 않습니다. 장문 컨텍스트 추론을 프리필 연산, HBM에 상주하는 활성 KV 상태, SSD나 호스트 메모리에 저장되는 영구 상태라는 세 가지 문제로 나누고 함께 최적화했다는 점이 중요합니다. 한 영역만 줄이면 다른 영역으로 병목이 이동할 수 있기 때문입니다. CED, 어텐션 구조, 저정밀도 캐시, 배포 정책을 결합한 방식은 모델과 시스템을 동시에 설계하는 흐름을 보여줍니다.

에이전트 서비스에서 캐시 용량과 데이터 이동 대역폭은 동시 처리 가능한 세션 수와 유지할 수 있는 작업 기록의 양에 직접 영향을 줄 수 있습니다. 논문에서 제시한 비율이 실제 하드웨어와 대표적인 워크로드에서도 유지된다면, KV 캐시 압축은 장문 컨텍스트 서비스 비용을 낮추는 중요한 방법이 될 수 있습니다.

다만 현재 제공된 소재에는 구체적인 하드웨어 구성, 지연시간, 처리량, 정확도 손실 여부, 작업별 비교 결과가 포함되어 있지 않습니다. 따라서 실제 배포 효과를 판단하려면 원문 실험과 적용하려는 서비스 조건을 함께 확인해야 합니다. 현재 단계에서는 이 모델을 장기 에이전트 추론을 위한 통합적인 메모리·시스템 최적화 방향으로 평가하는 것이 적절합니다.

출처：Hugging Face Daily Papers