LatentPress, 연속 메모리 토큰으로 LLM 컨텍스트를 직접 압축

배경

대규모 언어 모델의 장문 컨텍스트 문제는 단순히 더 큰 컨텍스트 창을 확보하는 것으로 끝나지 않는다. 대화 기록과 문서가 길어질수록 입력 처리량, 어텐션 계산량, 캐시 사용량과 추론 지연이 함께 증가한다. 기존의 컨텍스트 압축 방식은 보통 사람이 읽을 수 있는 요약문을 만들거나, 내용을 이미지로 렌더링한 뒤 OCR 또는 시각 처리를 통해 다시 해석한다. 그러나 최종 소비자가 언어 모델이라면, 이러한 복원 과정은 추가 비용이 될 수 있다.

논문 「LatentPress: Context Compression Beyond Text and Vision」은 모델을 위한 별도의 표현 방식을 제시한다. LatentPress는 대화와 긴 문서를 연속적인 메모리 토큰으로 압축하고, 고정된 디코더가 입력 임베딩 인터페이스를 통해 토큰을 직접 읽도록 한다. 따라서 추론 시 압축 결과를 다시 텍스트로 생성할 필요가 없다.

작동 방식

LatentPress에는 읽기 모델에 맞춰 학습되는 소형 라이터가 있다. 라이터는 긴 컨텍스트를 더 짧은 연속 벡터 시퀀스로 변환하고, 이를 메모리로서 고정된 디코더에 전달한다. 학습 과정에서는 약 420만에서 2620만 개의 파라미터를 가진 어댑터만 업데이트하며, 이는 디코더 전체의 약 0.1%다. 설정에 따라 약 4배에서 16배의 압축을 지원한다.

보고된 실험에서 대화 하나를 기록하는 데 걸린 시간은 43밀리초였다. 읽기 단계는 원본 컨텍스트나 캐시된 OCR을 처리하는 방식보다 약 5배에서 9배 빠른 것으로 나타났다. 기록 속도 역시 텍스트 요약이나 OCR 복원보다 대략 한 자릿수 배 빠르다고 보고됐다. 장기 대화나 문서 질의응답처럼 같은 정보를 반복적으로 참조하는 애플리케이션에서 입력 처리 비용을 줄일 여지가 있다는 의미다.

주요 평가 결과

• LongMemEval에서 7.70배 압축 시 정확도 0.504를 기록해, 압축하지 않은 증거의 0.490보다 높았다.
• 텍스트 요약 기준선은 0.184였고, OCR 기반 압축은 설정에 따라 0.426에서 0.312 사이의 결과를 보였다.
• LongBench-QA에서는 도메인 내 라이터가 4배에서 8배 압축 구간에서 원본 컨텍스트 읽기와 같거나 더 나은 결과를 냈다. 16배 압축에서는 원본보다 성능이 낮아졌다.
• UltraChat에서 LongMemEval 메모리 질의응답으로 전이하는 설정과, LongMemEval에서 파생한 질의를 보지 못한 LongBench 문서 도메인으로 전이하는 설정도 검증했다.

의미와 한계

LatentPress의 핵심은 압축률 자체보다 압축 결과의 인터페이스에 있다. 요약문은 사람이 내용을 확인하기에 적합하고, 이미지는 텍스트와 시각 정보를 함께 전달할 수 있다. 반면 연속 메모리 토큰은 언어 모델이 이미 내부적으로 사용하는 벡터 표현에 가까운 형태로 정보를 전달한다. 장문서 질의응답, 대화 메모리, 검색 결과 관리에서 불필요한 변환 단계를 줄이는 모델 중심 인터페이스가 될 수 있다.

물론 압축률이 높을수록 항상 좋은 것은 아니다. LongBench-QA에서 16배 압축의 성능이 하락한 결과는 질문에 필요한 세부 정보가 압축 과정에서 사라질 수 있음을 보여준다. 또한 특정 디코더에 맞춰 학습된 라이터는 다른 모델에 그대로 재사용하기 어려울 가능성이 있다. 연속 토큰의 해석 가능성, 오류 원인 추적, 모델 간 호환성, 더 복잡한 작업에서의 안정성도 추가 연구가 필요하다.

따라서 LatentPress는 기존 요약이나 검색을 모두 대체하는 기술이라기보다, 언어 모델이 압축된 컨텍스트를 직접 소비하도록 만드는 새로운 메모리 인프라 방향으로 보는 편이 타당하다.

출처: Hugging Face Daily Papers