MemT-1.0: 파운데이션 모델에 네이티브 메모리를 심다

들어가며

대규모 언어 모델이 과거 정보를 활용하는 방법은 크게 두 가지다. 정보를 파라미터에 학습시키면 모델 내부 지식이 되지만, 새로운 정보를 지속적으로 반영하기 어렵고 비용도 크다. 반대로 대화 이력을 긴 컨텍스트나 외부 검색 저장소에 보관하면 유연하지만, 이력이 늘어날수록 추론 비용과 KV 캐시 저장량이 커진다. MemT-1.0은 메모리를 모델 계산의 일부로 만들면서 이 문제에 접근한다.

핵심 내용

• 토큰 단위의 메모리 업데이트. MemT-1.0은 Metis를 기반으로 Gated DeltaNet-2를 사용한다. 각 대화 턴 안에서 메모리를 안정적으로 갱신해, 모든 과거 내용을 매번 프롬프트에 붙이는 대신 재귀적 상태로 정보를 유지하려는 설계다.
• Mixture-of-Storage 도입. 논문은 네이티브 메모리의 용량을 키우기 위해 Mixture-of-Storage를 제안한다. 제공된 자료에는 세부 구성은 공개되지 않았지만, 모든 이력을 완전한 어텐션 캐시로 보존하지 않고 장기 정보를 축적하는 것이 목적이다.
• 2단계 학습 파이프라인. 먼저 백본을 준비한 뒤 지속 사전학습과 포스트 트레이닝을 수행했다. 학습에는 약 340억 토큰이 사용됐으며, 효율적인 학습과 추론 인프라도 함께 구축됐다.
• 두 가지 모델 제품군. 공개된 모델은 MemT-1.0-Nano와 MemT-1.0-Flash다. 보고된 평가에 따르면 두 모델은 파라메트릭 메모리 기준선보다 평균적으로 우수했고, 검색 증강 방식과도 경쟁력을 유지했다. 동시에 일반적인 모델 능력도 대체로 보존했다.
• 긴 이력에서의 효율. 128K 토큰 이력 조건에서 MemT-1.0-Nano는 전체 컨텍스트 KV 캐시와 비교해 엔드투엔드 추론 속도를 약 1.86배 높이고 영구 저장 공간을 약 66배 줄였다고 보고됐다. 이는 컨텍스트 창을 단순히 늘린 결과가 아니라, 압축된 메모리 상태를 계속 갱신하는 방식에서 나온다.

의미와 남은 과제

MemT-1.0의 의미는 모델과 과거 정보의 관계를 바꾸려는 데 있다. RAG는 필요할 때 외부에서 자료를 꺼내오는 방식이고, 파라미터 메모리는 지식을 가중치에 기록하는 방식이다. 네이티브 메모리는 상호작용 과정에서 유용한 정보와 절차적 경험을 내부 상태로 축적해 이후 계산에 활용하려 한다. 장기 대화, 개인화된 비서, 여러 단계의 경험을 다음 행동에 반영해야 하는 AI 에이전트에서 특히 유용할 가능성이 있다. 논문은 검색된 절차적 경험을 내부화한 뒤 에이전트 작업 성공률이 개선됐다고도 설명한다.

그러나 실제 배포를 위해서는 해결할 문제가 많다. 무엇을 기록할지, 오래된 정보를 어떻게 수정하거나 잊을지, 잘못된 정보가 메모리에 누적되지 않게 할지 검증해야 한다. 사용자와 작업 사이에서 메모리를 안전하게 분리하는 문제도 중요하다. 따라서 현재의 MemT-1.0은 장기 메모리의 최종 해법이라기보다, 메모리 네이티브 모델로 향하는 실용적이고 시스템적인 시도로 보는 편이 정확하다.

출처: Hugging Face Daily Papers