지속학습 메커니즘 결합으로 언어 모델 장기 기억 개선

서론

언어 모델을 계속 업데이트하려면 새 정보를 학습하는 능력만으로는 부족합니다. 이후에 들어온 데이터가 이전에 배운 내용을 덮어쓰면 장기간 운용되는 모델의 가치가 크게 떨어지기 때문입니다. 존스홉킨스대학교 연구팀은 이 문제를 ‘장기 지속 메모리(long-horizon memorization)’로 정의하고, 서로 다른 지속학습 메커니즘을 조합했을 때 망각을 얼마나 줄일 수 있는지 조사했습니다.

문제: 업데이트가 쌓일수록 과거 기억이 사라진다

실험에서 모델은 100개의 질의응답 과제를 순서대로 학습합니다. 학습은 지속적인 지도 미세조정으로 진행되지만, 이전 과제의 학습 사례는 보관하지 않습니다. 추론 단계에서도 어떤 과제에 해당하는지 알려주는 식별자를 제공하지 않습니다. 이는 새 지식이 계속 유입되지만 과거 데이터에 항상 접근할 수는 없는 상황을 단순화한 설정입니다.

단순한 순차 SFT에서는 후속 업데이트가 모델 파라미터를 크게 바꾸면서 앞선 과제의 성능이 무너집니다. 세 데이터셋에서 이 방식의 최종 평균 보존율은 1.2%에 불과했습니다. 연구팀이 평가한 단일 지속학습 메커니즘 역시 이처럼 긴 과제 순서에서 강한 보존 성능을 꾸준히 유지하지 못했습니다.

접근법: 서로 다른 보호 장치를 조합하기

논문은 조합 가능한 설계 요소를 두 가지 축으로 정리합니다.

• 무엇을 보존할 것인가: 데이터 앵커, 함수 앵커, 가중치 앵커가 각각 과거 정보, 모델의 동작, 파라미터 상태 등 서로 다른 대상을 보호합니다.
• 어디에 업데이트를 저장할 것인가: 저랭크 할당 규칙이 연속적인 업데이트를 LoRA 계열 파라미터 공간에 어떻게 배치하고 관리할지 결정합니다.

가장 강력한 구성은 세 종류의 앵커를 모두 사용하면서 merged LoRA를 적용한 방식이었습니다. 이 방법은 세 개의 100과제 데이터셋 모두에서 상위 3개 방법에 들었습니다. 최종 평균 보존율은 34.9%로, 단순 순차 미세조정의 1.2%보다 약 28배 높았습니다.

가능한 조합이 많기 때문에 연구팀은 과제 단위의 successive halving으로 후보를 단계적으로 줄였습니다. 이후 요인 실험을 통해 각 요소의 개별 효과와 상호작용을 분석했습니다. 평균 개선폭이 가장 큰 요소는 데이터 앵커와 merged LoRA였습니다. 특히 두 요소는 세 데이터셋 모두에서 초가산적 상호작용을 보였으며, 함께 사용할 때 단순히 개별 효과를 더한 것보다 큰 이득을 냈습니다.

의미와 한계

이 결과는 지속학습의 망각이 하나의 원인이나 하나의 모듈만으로 해결되지 않을 수 있음을 보여줍니다. 모델이 잊는 과정은 학습 데이터의 보존, 함수적 행동의 유지, 후속 업데이트가 기록되는 파라미터 공간 등 여러 층위에서 발생할 수 있습니다. 따라서 서로 다른 층위를 겨냥한 메커니즘을 조합하는 것이 하나의 설계 방향이 될 수 있습니다.

다만 34.9%의 보존율은 문제가 해결됐다는 뜻이 아닙니다. 이번 평가는 통제된 연속 기억 과제에 초점을 맞췄으며, 실제 제품에서 발생하는 개방형 지식 업데이트를 그대로 재현하지는 않습니다. 더 긴 업데이트 시퀀스와 다양한 데이터 분포에서도 같은 조합이 안정적으로 작동하는지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers