Memory Decoder at Scale: LLM의 장기 기억을 본체에서 분리하다

도입

대부분의 decoder-only 언어모델은 지식을 장기적으로 저장하는 기능과, 생성 과정에서 추론하는 기능을 같은 가중치 안에 함께 담는다. 이 구조는 단순하지만, 기억 용량만 독립적으로 늘리기 어렵다는 한계가 있다. 더 많은 지식을 담으려면 보통 모델 전체를 키워야 한다. Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory 는 이 문제를 정면으로 다루며, 상대적으로 작은 추론 백본과 큰 사전학습 메모리 모듈을 결합하는 방식을 제안한다.

핵심 내용

• 기억과 추론의 분리
  이 연구는 Memory Decoder의 방향을 확장해 장기 기억을 언어모델 본체의 파라미터와 상대적으로 분리한다. 베이스 모델은 생성과 추론을 담당하고, 별도의 memory 모듈은 더 큰 규모의 지식 저장을 맡는 구조다.

• 6.9B 파라미터 메모리로 확장
  기존 Memory Decoder 연구는 비교적 작은 규모에서 검증됐다. 이번 논문은 memory model을 최대 6.9B 파라미터까지 키우고 300B 토큰으로 사전학습했다. 따라서 초점은 단순한 가능성 확인을 넘어, 큰 훈련 규모에서도 이 접근이 효과적인지에 맞춰져 있다.

• 대규모 검색 인프라 문제 해결
  300B 토큰 규모에서는 일반적인 Faiss 색인 및 검색 파이프라인의 비용이 크게 증가한다. 저자들은 분산 Faiss 색인·검색 파이프라인과, sparse한 batch 단위 kNN 분포 로딩을 결합해 이 병목을 완화했다고 설명한다.

• 작은 백본과 큰 메모리의 성과
  17개 벤치마크에서 Pythia-410M에 6.9B general memory를 결합하면 평균 점수가 29.86에서 37.34로 올라간다. 이는 Pythia-12B의 37.24를 약간 넘어서며, 총 파라미터는 39% 더 적다. 또한 Qwen3 Base 0.6B부터 14B까지의 모델에서 1.7B domain memory는 세 도메인 평균 점수를 모든 규모에서 9점 이상 개선한 것으로 보고됐다.

의미와 영향

이 논문의 핵심은 특정 점수 하나보다 새로운 확장 전략에 있다. 모델 성능을 높이는 방법이 반드시 메인 언어모델을 계속 키우는 것일 필요는 없다는 점을 보여준다. 파라미터 예산의 일부를 독립적으로 사전학습된 메모리 모듈에 배정하면, 더 나은 파라미터 대비 성능을 얻을 수 있다는 주장이다.

다만 실제 적용에는 시스템 복잡도가 따른다. 대규모 색인, 검색 지연, 메모리와 백본의 결합 방식, 일반 메모리와 도메인 메모리의 선택 문제는 모두 실사용 성능에 영향을 줄 수 있다.

이 접근은 전통적인 RAG와도 다르다. RAG는 외부 문서를 검색하지만, 여기서의 메모리는 학습 가능한 파라미터 자체다. 향후에는 외부 검색과 파라메트릭 메모리가 결합되어 더 유연한 장기 기억 구조로 발전할 가능성이 있다.

출처: Hugging Face Daily Papers