KV Cache도 편향된다: 구조 토큰을 과도하게 남기는 장문 추론의 문제

도입

장문 컨텍스트를 다루는 대규모 언어모델에서는 KV Cache 압축이 추론 비용과 성능을 동시에 좌우한다. 컨텍스트가 길어지고 메모리가 제한되면, 시스템은 과거 토큰의 Key/Value 상태 중 무엇을 남길지 선택해야 한다. H2O와 그 후속 방식들은 누적 attention 질량을 중요도 점수로 보고, 가장 높은 토큰을 보존한다.

arXiv 논문 “Adaptive Filtering of the KV Cache”는 이 직관이 구조화된 입력에서는 실패할 수 있다고 분석한다. 특히 중첩 JSON처럼 schema가 촘촘한 데이터에서는 attention 점수가 의미 있는 내용보다 구조적 역할에 끌릴 수 있다. 그 결과 구분자, 공백, KEY 토큰은 남고, 정작 답을 담은 VALUE 토큰은 제거될 수 있다.

핵심 내용

• attention 점수는 항상 의미 중요도가 아니다. 논문은 누적 attention을 신호 에너지로 해석하지만, 구조 밀집 텍스트에서는 이 신호가 비정상적인 필터처럼 작동한다고 설명한다.
• 비내용 sink 역할의 에너지가 크다. 초록에 따르면 구분자나 공백 같은 비내용 역할은 어떤 내용 역할보다 한 자릿수 규모로 더 큰 에너지를 가질 수 있다.
• KEY 토큰이 과도하게 유지된다. 구조적 KEY 토큰은 답을 담은 VALUE 토큰보다 약 1.8배 높은 비율로 보존된다.
• 낮은 예산에서 정확도가 무너진다. 5% 캐시 예산에서는 보존된 상태의 신호 대 잡음비가 나빠지며 exact-match 정확도가 88%에서 0%로 하락한다고 보고된다.
• KEY 억제가 실용적인 보정 방향이다. 반사실 실험은 배포 가능한 필터 중 KEY 토큰의 우선순위를 낮추는 방식이 가장 효과적임을 보여준다.
• 재학습 없는 역할 조건부 할당. 제안 방법은 SnapKV의 윈도우화된 점수 위에 역할별 할당을 적용하며, 하나의 조정 하이퍼파라미터로 제어된다. 20% 미만의 예산에서는 H2O와의 격차 중 63%에서 98%를 줄인다.

의미와 영향

이 연구의 메시지는 단순하다. “많이 주목받은 토큰”이 반드시 “남겨야 할 토큰”은 아니다. JSON, API 응답, 로그, 설정 파일, 도구 호출 결과, RAG에서 반환되는 반구조화 문서에서는 형식 자체보다 값의 정확한 회수가 중요하다. 캐시 제거 정책이 구조적 표식을 정보로 착각하면, 모델은 문서의 틀은 기억하면서 정작 필요한 값을 잃을 수 있다.

제안 방식은 배포 관점에서도 흥미롭다. 역할 라벨은 약 15 MB 규모의 선형 role probe가 제공하며, 논문은 이 비용이 추론에서 무시할 만한 수준이라고 설명한다. 기본 LLM을 다시 학습할 필요도 없다. 다만 저자는 한계도 분명히 한다. 높은 예산에서는 전체 캐시 정확도와 비슷하거나 약간 넘어서는 경우가 있지만, 이는 작고 seed에 민감한 denoising 효과이며, parser 수준의 하위 작업 정확도 달성은 여전히 열린 문제다.

결국 이 논문은 장문 추론 시스템의 캐시 관리가 attention 점수 하나에만 의존해서는 안 된다는 점을 보여준다. 앞으로는 토큰의 구조적 역할, 작업 관련성, attention 정보를 함께 고려하는 KV Cache 전략이 더 중요해질 가능성이 크다.

출처: arXiv