Metis: 파운데이션 모델 안에 들어간 네이티브 메모리

도입

오늘날 AI 에이전트의 메모리는 대개 모델 밖에 있다. 벡터 데이터베이스, 검색 모듈, 캐시, 요약기, 프롬프트 구성 규칙을 조합해 과거 정보를 다시 불러오는 방식이 일반적이다. 실용적인 접근이지만, 메모리가 모델의 고유 능력이라기보다 주변 시스템 엔지니어링에 가깝다는 한계도 있다.

Metis는 이 문제를 다른 관점에서 본다. 메모리를 외부 모듈이 아니라 파운데이션 모델의 네이티브 기능으로 만들자는 것이다. 단순히 컨텍스트 창을 늘리거나 RAG를 붙이는 것이 아니라, 과거 정보를 모델 내부의 상태로 압축하고 그 상태가 이후 계산에 참여하게 하는 구조를 제안한다.

핵심 내용

• 네이티브 메모리 상태: Metis는 모델 백본 안에 존재하는 지속적이고 동적으로 변화하는 상태를 메모리로 정의한다. 이는 외부 저장소의 문서가 아니라 이후 추론에 직접 관여하는 내부 상태다.
• 학습된 메모리 절차: 무엇을 저장할지, 저장된 정보를 어떻게 사용할지를 모델이 학습하도록 한다. 사람이 만든 규칙과 외부 파이프라인에 대한 의존을 줄이려는 방향이다.
• Metis Block 구조: 각 Metis Block은 지속 메모리 상태를 유지하는 Local Memory Block과, 저장 및 활용 절차를 학습하는 Hyper Memory Block을 결합한다.
• 고정 크기 세션 상태: 과거 정보는 압축된 고정 크기 세션 상태로 저장된다. 이후 질의는 원래의 긴 히스토리를 다시 입력하지 않고 memory attention을 통해 이 상태에 접근한다.
• 그래디언트 없는 메모리 유지: 추론 시 학습된 모델 가중치는 고정된다. 온라인 메모리 업데이트는 그래디언트가 필요 없으며 순전파 계산만으로 수행된다.
• 체크포인트 공개: 저자들은 구현과 함께 Qwen3.5 기반 4B, 9B, 27B 규모 체크포인트를 공개했다고 밝혔다.

의미와 영향

Metis의 의미는 에이전트 메모리를 외부 소프트웨어 구성 문제가 아니라 모델 아키텍처의 문제로 옮겼다는 데 있다. 장기 대화, 개인화 비서, 여러 단계의 작업 수행에서는 과거 정보를 계속 검색하고 프롬프트에 다시 넣는 방식이 비용과 복잡도를 키운다. Metis는 모델 내부에서 갱신되는 상태를 통해 더 자연스러운 연속성을 만들 수 있는 가능성을 보여준다.

효율 측면에서도 흥미롭다. 외부 메모리 시스템은 매번 관련 기록을 찾고, 조각을 고르고, 컨텍스트에 다시 삽입해야 한다. Metis는 히스토리를 고정 크기 상태로 압축하고 attention으로 접근하므로 긴 상호작용에서 반복적인 컨텍스트 처리 부담을 줄일 수 있다.

다만 현재 공개된 소재는 개념과 프로토타입 설명에 가깝다. 다양한 작업에서의 성능, 긴 세션에서의 안정성, 메모리의 신뢰성은 추가 검증이 필요하다. 또한 메모리가 내부 상태가 될수록 삭제, 분리, 감사, 안전 제어 같은 문제도 더 중요해진다.

Metis는 대형 모델에 메모리를 덧붙이는 방식에서, 모델 자체가 메모리를 유지하는 방식으로 나아가는 초기 시도로 볼 수 있다.

출처: Hugging Face Daily Papers