LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능

들어가며

대규모 언어 모델의 후학습은 대개 많은 파라미터를 수정하는 과정으로 이해됩니다. 전체 파인튜닝은 모델의 새 능력을 직접 학습시키는 강력한 방법이지만, 큰 체크포인트가 필요하고 사전학습 과정에서 얻은 능력을 잃는 망각 문제가 발생할 수 있습니다. 이번 연구는 이러한 통념에 질문을 던집니다. 모델의 행동을 바꾸기 위해 많은 가중치를 새 값으로 업데이트해야 할까요? 아니면 아주 적은 수의 가중치를 꺼도 충분할까요?

연구진이 제안한 Deletion Tuning은 두 번째 가능성을 탐색합니다. 보고된 결과에 따르면, 사전학습 가중치의 0.05% 미만을 0으로 만드는 것만으로도 여러 후학습 방식에서 전체 파인튜닝에 맞먹는 성능을 얻었습니다. 모델 전체를 크게 압축한다는 뜻은 아닙니다. 모델의 행동에 영향을 줄 가능성이 높은 위치를 선택한 뒤, 해당 가중치를 비활성화하는 방식입니다.

작동 방식

Deletion Tuning은 Transformer 블록의 게이트 프로젝션에 이진 마스크를 학습합니다. 가중치에 새로운 연속값을 덧씌우는 대신, 각 항목을 유지할지 0으로 만들지 결정하는 마스크를 최적화합니다. 학습 과정에서는 어닐링된 Sigmoid 마스크를 사용해 연속적인 최적화에서 이산적인 유지·삭제 선택으로 점진적으로 이동합니다. 따라서 모델을 배포하거나 공유할 때 필요한 추가 정보는 주로 어떤 가중치를 끌지 표시하는 비트 마스크입니다.

평가는 검증 가능한 보상을 사용하는 강화학습, 지도 파인튜닝, 온폴리시 증류 등 세 가지 후학습 환경에서 진행됐습니다. 제공된 초록에 따르면 세 환경 모두에서 선택된 가중치를 삭제하는 방식이 전체 파인튜닝과 비슷한 성능을 보였습니다. 별도의 저랭크 업데이트를 추가하는 LoRA나 조밀한 가중치 차이를 저장하는 방식과 구별되는 결과입니다.

주목할 결과

• 업데이트 크기 감소. 학습된 마스크는 해당 전체 파인튜닝 체크포인트보다 수백 배에서 수천 배 작습니다. 여러 전문 모델 버전을 저장하고 배포하는 부담을 줄일 수 있습니다.
• 망각 완화. 강화학습 실험에서 이전 과제 정확도는 기본 모델 수준에 가깝게 유지됐습니다. 반면 전체 파인튜닝, LoRA, 무작위 희소 파인튜닝은 같은 비교에서 이전 과제 정확도가 최대 5.4포인트 하락했습니다.
• 단순한 무작위 삭제가 아님. 연구진은 안정 랭크, 스펙트럼 이동, 주요 가중치 중첩을 사용해 업데이트의 기하학적 특성을 분석했습니다. 세 지표에서 Deletion Tuning은 무작위 희소 파인튜닝이나 LoRA보다 전체 파인튜닝에 더 가까운 것으로 나타났습니다.

의미와 한계

이 연구는 후학습의 효과가 바뀐 파라미터의 양보다 위치와 구조에 더 크게 좌우될 수 있음을 보여줍니다. 결과가 다양한 모델과 작업에서 재현된다면, 하나의 기본 모델 위에 작은 마스크를 조합해 용도별 능력을 배포하는 설계가 가능해질 수 있습니다. 새 능력을 학습하면서 과거 능력을 보존해야 하는 지속학습에도 중요한 시사점이 있습니다.

다만 제공된 자료만으로는 마스크가 서로 다른 모델 크기나 아키텍처 사이에서 재사용될 수 있는지 판단할 수 없습니다. 전체 데이터셋, 모델 규모, 학습 비용도 제시되지 않았으므로 모든 LLM이 0.05% 삭제만으로 충분하다고 일반화해서는 안 됩니다. 현재 가장 신중한 해석은, 모델 전체를 폭넓게 다시 쓰는 대신 행동을 좌우하는 소수의 핵심 스위치를 찾아 끄는 후학습 전략이 제안됐다는 것입니다.

출처: Hugging Face Daily Papers