EngramEdit, LLM의 사실 지식을 독립적으로 업데이트하다

들어가며

대규모 언어 모델의 사실 지식을 수정하려면 보통 재학습, 파인튜닝 또는 모델 편집 기법을 사용해 파라미터를 바꿔야 합니다. 이 과정은 비용이 클 뿐 아니라 새로운 사실을 반영하는 동안 기존 지식이나 일반 능력에 영향을 줄 수 있습니다. EngramEdit는 다른 방향을 제시합니다. Transformer 백본은 그대로 두고, 사실 지식이 저장되고 검색되는 조건부 메모리만 편집하려는 접근입니다.

조건부 메모리가 중요한 이유

DeepSeek Engram과 같은 구조는 입력의 n-gram을 이용해 학습된 임베딩을 조회한 뒤 언어 모델에 제공합니다. 이 방식은 추가 계산을 크게 늘리지 않으면서 모델의 용량을 확장할 수 있습니다. 동시에 사실 지식의 저장 영역과 범용 계산을 담당하는 Transformer를 분리할 가능성도 보여 줍니다.

그러나 조건부 메모리를 실제로 편집하는 일은 단순한 벡터 하나의 수정이 아닙니다. 같은 사실이라도 문장 표현이 달라지면 서로 다른 n-gram 임베딩이 활성화될 수 있습니다. 반대로 하나의 임베딩이 여러 사실에 공유되기도 합니다. 특정 프롬프트에 연결된 메모리만 바꾸면 새로운 표현에서 수정 사항이 작동하지 않을 수 있고, 공유 임베딩을 직접 수정하면 관련 없는 예측까지 변할 수 있습니다.

EngramEdit의 접근법

EngramEdit는 다음과 같은 두 단계로 문제를 다룹니다.

• 먼저 여러 표현을 고려해, 모델이 수정된 사실을 예측하도록 만드는 목표 메모리 표현을 계산합니다.
• 그다음 다양한 표현과 편집 사례에서 공유 n-gram 임베딩이 목표 표현에 가까워지도록 공동으로 업데이트합니다.
• 재사용 빈도가 높은 임베딩에는 더 큰 업데이트 페널티를 적용해 관련 없는 지식으로 변화가 퍼지는 것을 줄입니다.

핵심은 하나의 입력을 위한 고립된 패치가 아니라 여러 표현의 배경에 있는 공유 메모리 구조를 편집하는 것입니다. 이를 통해 조건부 메모리를 통제 가능한 지식 업데이트 인터페이스로 활용합니다.

실험 결과와 의미

논문에 따르면 EngramEdit는 대상 사실 편집에서 거의 완벽에 가까운 성공률을 보였습니다. 수정된 지식은 학습 과정에 없던 표현에서도 사용 가능하며, 다중 홉 추론에도 활용됐습니다. 사고 연쇄 프롬프트에서는 가장 강력한 기준선보다 정확도가 거의 세 배에 이르는 결과가 보고됐습니다. 편집이 누적되는 상황에서도 무관한 지식과 일반 능력은 대체로 유지됐습니다.

이 연구의 더 큰 의미는 모델 유지보수의 대상을 바꿀 가능성에 있습니다. 사실 지식을 비교적 독립적인 조건부 메모리 계층에서 관리할 수 있다면, 모델 전체의 파라미터를 반복해서 변경하지 않고도 사실 수정이나 도메인 정보 갱신을 수행할 수 있습니다. 이는 지속적인 지식 관리가 필요한 시스템에서 유용한 설계 방향이 될 수 있습니다.

다만 제공된 자료만으로는 더 큰 모델, 다양한 유형의 사실, 장기간 이어지는 연속 편집에서의 성능을 판단하기 어렵습니다. 복잡한 지식 구조에서도 공유 임베딩에 의한 간섭을 안정적으로 억제할 수 있는지는 추가 검증이 필요한 부분입니다.

출처: Hugging Face Daily Papers