주의 헤드를 줄이면 언어 모델의 암기도 줄어들까

대규모 언어 모델은 언어의 일반적인 패턴을 학습하지만, 학습 데이터에 포함된 문장을 그대로 재현하기도 한다. 개인 정보나 저작권이 있는 텍스트, 기타 민감한 내용이 포함될 경우 이는 개인정보 유출과 지식재산권 노출 문제로 이어질 수 있다. 지금까지의 대응은 학습 데이터 정제, 재학습, 출력 필터링 등에 집중됐다. 이번 연구는 재학습 없이 추론 단계에서 일부 주의 헤드를 끄는 방법을 검토했다.

연구의 핵심

• 주의 헤드를 기억 구성요소로 본다. 선행 이론은 주의 헤드가 연관 기억 장치처럼 작동할 수 있으며, 헤드 수가 늘어날수록 잠재적인 기억 용량도 커질 수 있다고 설명한다.
• 무작위 제거가 아니다. 연구진은 언어 모델링 작업에서 중복성이 높은 헤드를 식별한 뒤, 추론 시 해당 헤드의 출력을 0으로 만들었다. 재학습을 통해 파라미터를 제거한 방식은 아니다.
• 축어적 재현이 크게 감소했다. 15억 개 파라미터를 가진 GPT-2-XL에서 작업 중복 헤드 729개를 제거하자, 알려진 기억 시퀀스의 재현 횟수가 91.5% 줄었다.
• 일반 언어 모델링 지표는 악화되지 않았다. 중복 헤드를 식별하는 데 사용한 WikiText-103에서 퍼플렉서티가 0.92 개선됐다. 다만 이 효과가 다른 데이터셋과 작업에도 유지되는지는 제공된 자료만으로 확인할 수 없다.

이 결과가 곧 “주의 헤드를 줄이면 모델이 항상 더 안전해진다”는 뜻은 아니다. 핵심은 정확한 문장 재현의 일부가 일반적인 언어 예측에 반드시 필요한 것은 아닌 특정 헤드 집합에 의존할 수 있다는 점이다. 해당 헤드가 학습 문장의 검색에는 관여하면서 일상적인 예측에는 기여도가 낮다면, 추론 중 선택적으로 억제해 정상적인 능력을 어느 정도 유지하면서 기억 재현을 줄일 가능성이 있다.

의미와 한계

배포 관점에서 이 방식은 학습 데이터를 수정하거나 모델을 다시 훈련하지 않아도 된다는 장점이 있다. 또한 모델 프루닝을 압축과 효율화만을 위한 기술이 아니라, 학습 이후 특정한 바람직하지 않은 행동을 조절하는 구조적 개입으로 볼 수 있게 한다.

그러나 결과를 확대 해석해서는 안 된다. 실험은 GPT-2-XL, 이미 알려진 기억 시퀀스, WikiText-103을 중심으로 진행됐다. 더 큰 모델이나 다른 아키텍처, 알려지지 않은 기억 사례, 다양한 다운스트림 작업에 대한 결과는 요약 자료에 제시되지 않았다. 사실 회상이나 긴 컨텍스트 처리 등 다른 능력에 미치는 영향도 아직 분명하지 않다. 따라서 현재 단계에서 이 방법은 유망한 추론 시점 완화책으로 볼 수 있지만, 모델 기억 문제를 포괄적으로 해결하는 방법으로 보기는 어렵다.

출처: arXiv