정답을 모방하는 대신 잘못된 추론을 피하며 LLM을 학습시키다

들어가며

대규모 언어 모델의 추론 능력을 높이는 대표적인 방법은 더 나은 풀이 과정을 모방하게 하는 것입니다. On-Policy Self-Distillation(OPSD)은 모델이 직접 출력을 생성하면서도 정답 풀이 같은 특권 정보를 교사 신호로 활용하는 접근입니다. 하지만 논문 《Negative Self-Distillation: Learning to Reason by Avoiding Flaws》는 어려운 문제에서는 반대 방향의 학습이 더 적합할 수 있다고 제안합니다. 이상적인 풀이를 복사하는 대신, 결함 있는 추론을 피하게 하자는 발상입니다.

핵심 내용

• 기존 증류의 부작용: 특권 정보에 조건화된 교사 궤적은 실제 탐색 과정보다 지나치게 확신에 차고 매끄러워 보일 수 있습니다. 이를 강하게 모방하면 불확실성 표현, 시행착오, 되돌아가기, 자기수정 같은 행동이 줄어들 가능성이 있습니다.
• 부정적 교사 생성: Negative Self-Distillation(NSD)은 외부 교사나 정답 라벨을 요구하지 않습니다. 모델이 문제별로 ‘부주의한 추론자’와 같은 부정적 조건을 만들고, 학생 모델이 그 결함 있는 궤적의 분포에서 벗어나도록 최적화합니다.
• 무차별적 언러닝 방지: 단순히 잘못된 추론 시퀀스의 확률을 낮추면 오류 토큰과 일반적인 언어 표현 토큰이 섞일 수 있습니다. 이 경우 추론 능력뿐 아니라 기본적인 문장 생성 능력까지 손상될 위험이 있습니다.
• 동적 게이팅: 제안된 방식은 동적 게이팅으로 추론에 중요한 token을 식별하고 업데이트 범위를 제한합니다. 즉, 언어 능력 전체를 벌주는 대신 추론 품질과 관련된 부분에 학습 신호를 집중하려는 것입니다.

의미와 한계

NSD의 중요한 관점은 모델의 실패 궤적도 자기개선의 신호로 사용할 수 있다는 점입니다. 여러 가설을 시험하고 오류를 찾아 수정해야 하는 문제에서는 완성된 정답 경로 하나를 복사하는 것보다 피해야 할 실패 패턴을 학습하는 편이 추론의 유연성을 보존할 가능성이 있습니다.

다만 제공된 자료만으로는 방법의 세부 손실 함수, 평가 데이터셋, 비교 실험, 정량적 성능을 확인할 수 없습니다. 따라서 NSD가 기존 자기 증류보다 일관되게 우수한지, 부정적 조건을 안정적으로 생성할 수 있는지는 아직 판단하기 어렵습니다. 향후에는 신뢰할 수 있는 정답 궤적으로 방향을 제시하면서, 부정적 궤적으로 부주의하거나 취약한 추론 패턴을 억제하는 혼합형 학습이 현실적인 선택이 될 수 있습니다.

출처: Hugging Face Daily Papers