Deep Fusion Memory, LLM 중간 상태에 청크 단위 지식 주입

배경

대규모 언어 모델은 사전학습 과정에서 보유하지 못한 외부 지식을 필요로 하는 경우가 많다. 추가 사전학습은 기존 능력의 망각을 일으킬 수 있고, 검색 증강 생성은 추론 때마다 검색과 문맥 구성 과정을 요구한다. 파라미터 메모리는 외부 지식을 미리 모델에 반영하는 대안이지만, 기존 방식은 토큰 단위의 검색 목표를 대량으로 만드는 데 비용이 들 수 있다. 또한 최종 출력 단계에서만 메모리를 섞으면 모델 내부 계산에 미치는 영향이 제한적일 수 있다.

논문 ‘Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models’는 텍스트 청크를 메모리의 기본 단위로 삼는 Deep Fusion Memory(DFM)를 제안한다.

핵심 설계

• 청크 단위 메모리. 각 토큰마다 별도의 검색 목표를 구성하는 대신, 하나의 청크 안에서 예측된 메모리를 공유한다. 이를 통해 학습 데이터 준비에 필요한 오프라인 검색 규모를 줄인다.
• 인과적 메모리 예측. 메모리 예측기는 앞선 문맥을 입력으로 받아 현재 청크에 필요한 외부 지식 표현을 생성한다. 학습 과정에서는 코퍼스에서 검색한 청크 임베딩이 감독 신호가 된다.
• 중간 은닉 상태와 결합. 생성된 메모리는 게이트형 교차 어텐션을 통해 모델의 중간 은닉 상태에 들어간다. 단순히 최종 출력에서 보간하는 방식보다 깊은 수준의 융합을 목표로 한다.
• 백본 모델 고정. 메모리 예측기와 융합 모듈은 종단 간으로 학습하지만, 기존 언어 모델 백본은 고정한다. 이는 원래 모델 능력의 변화를 제한하려는 선택이다.
• 추론 시 명시적 검색 없음. 학습이 끝난 뒤에는 문맥으로부터 필요한 메모리를 예측하므로, 요청마다 외부 검색 인덱스에 접근할 필요가 없다.

결과와 시사점

논문 초록에 따르면, 6개 질의응답 과제에서 DFM은 최강 기준선보다 Mistral-7B-v0.3에서 12.71%, Qwen3-8B-Base에서 11.19% 높은 성능을 보였다. 도메인 적응에서는 Qwen3-4B-Base와 Qwen3-8B-Base 대비 각각 평균 6.51점과 4.38점의 향상이 보고됐다. 학습 데이터 구축에 필요한 검색 질의 수는 32배, 검색된 항목 수는 2048배 줄었다는 것이 저자들의 설명이다.

DFM의 핵심 의미는 메모리 구축 비용과 지식 주입의 깊이를 함께 개선하려는 데 있다. 청크 단위 감독은 토큰 단위 방식보다 준비 비용을 낮추면서도, 모델이 문맥 단위의 지식을 활용할 수 있도록 하는 절충안으로 볼 수 있다.

다만 제공된 자료만으로는 지식이 자주 갱신되는 환경, 서로 충돌하는 메모리, 잘못 예측된 메모리가 사실성에 미치는 영향까지 평가하기 어렵다. 향후에는 온라인 RAG와 비교해 지연 시간, 지식 업데이트의 유연성, 사실 정확도, 메모리 구축 비용을 함께 측정해야 한다. 따라서 DFM은 검색을 전면적으로 대체한다기보다, 외부 지식을 모델에 내재화하는 유망한 연구 방향으로 해석하는 편이 타당하다.

출처: Hugging Face Daily Papers