하이브리드 언어 모델의 분업: 어텐션은 기억하고 순환 상태는 표현을 결정한다

들어가며

하이브리드 언어 모델은 어텐션과 고정 크기 순환 상태를 결합해 긴 문맥을 유연하게 검색하면서도 상태 저장 비용을 줄이려 한다. 하지만 두 메모리 경로가 함께 작동하면 모델이 사실을 어디에 저장하는지, 또 응답의 표현 방식을 어느 경로가 결정하는지 분명히 알기 어렵다. 이번 연구는 이 질문에 비교적 선명한 답을 제시한다. 어텐션은 주로 “무엇이 말해졌는가”를 되찾고, 순환 상태는 “다음에 어떻게 말할 것인가”를 형성한다.

두 메모리 경로를 분리한 방법

연구진은 두 가지 캐시 수준 개입을 사용했다. split-prefill에서는 먼저 문맥을 읽힌 뒤 KV 캐시만 남기거나 순환 상태만 남겨 후속 답변을 생성한다. 이를 통해 한 경로를 제거했을 때 어떤 능력이 유지되는지 확인할 수 있다. state-swap에서는 한 문맥에서 얻은 KV 캐시와 다른 문맥에서 얻은 순환 상태를 결합해 한 번의 순전파에서 답변을 만든다. 단순한 상관관계를 넘어 각 경로가 출력에 미치는 인과적 영향을 살필 수 있는 방식이다.

Qwen3.5와 Falcon-H1에서 관찰된 역할 분담은 다음과 같다.

• 정확한 검색은 어텐션에 의존한다. 문맥에 실제로 등장한 구체적인 항목을 찾아야 하는 과제에서 KV만 남겨도 전체 모델 정확도의 약 64~98%가 유지됐다. 반면 순환 상태만 사용하면 이 능력은 0으로 떨어졌다.
• 출력 언어는 순환 상태를 따른다. 순환 상태만 남겼을 때도 언어 관련 성능은 약 70~80% 유지됐다. KV만 사용한 조건에서는 언어 정확도가 약 1%로 하락했다.
• 페르소나 역시 순환 상태의 영향이 크다. 순환 상태를 보존한 경우 페르소나 성능은 KV만 남긴 조건보다 약 3~5배 높았다.

state-swap 결과도 같은 해석을 뒷받침한다. 답변의 구체적인 내용은 KV 쪽을 따라가고, 답변에 사용된 언어는 순환 상태 쪽을 따라갔다. 즉 한 경로는 “무엇을 답할지”를 제공하고, 다른 경로는 “어떻게 답할지”에 영향을 준다.

단순한 복사 이상의 순환 기억

순환 상태만으로 생성할 때, 문맥에 한 번도 나오지 않은 단어라도 이미 본 단어와 의미나 일부 형태를 공유하면 받아들이는 현상도 관찰됐다. 이는 순환 상태가 문맥의 문자 그대로의 복사본이 아니라 더 추상적인 의미, 스타일 또는 생성 경향을 저장할 가능성을 보여준다. 다만 이 결과만으로 순환 상태가 완전한 개념 추론 능력을 갖췄다고 말할 수는 없다.

의미와 영향

긴 문맥에서 정확한 인용이나 조회가 필요한 애플리케이션에서는 KV 캐시가 여전히 중요하다. 반면 언어, 문체, 역할을 유지하는 작업에서는 더 작은 순환 상태가 유용할 수 있다. 향후 추론 시스템은 두 캐시를 중복된 메모리로 취급하기보다, 작업에 따라 각각 압축하거나 선택적으로 유지하는 방향을 검토할 수 있다.

이번 연구는 하이브리드 모델의 평가 방식에도 시사점을 준다. 최종 답변의 정답 여부만 볼 것이 아니라 사실 검색, 언어 선택, 페르소나 유지 능력을 따로 측정해야 한다. 결국 모델의 기억은 하나의 기능이 아니다. 어텐션은 말해진 내용을 보존하고, 순환 상태는 다음 표현의 방향을 결정한다.

arXiv