LLM의 강화학습은 새 추론 능력을 가르칠까? ‘사고 누출’의 의미

들어가며

강화학습은 대규모 언어 모델의 수학·논리 추론 능력을 높이는 핵심 방법으로 여겨진다. 그러나 Hugging Face Daily Papers에 소개된 이번 연구는 강화학습 이후의 성능 향상을 해석하는 방식에 주의가 필요하다고 말한다. 모델의 정답률이 올랐다고 해서 반드시 새로운 추론 전략을 배웠다는 뜻은 아니다. 원래 모델에 있던 능력이 다시 활성화된 결과일 수도 있기 때문이다.

연구진은 THINK와 NO-THINK 모드를 전환할 수 있는 Qwen3 계열의 하이브리드 추론 모델을 분석했다. 두 모드는 채팅 템플릿의 소수 특수 토큰으로 구분된다. 널리 사용되는 후속 학습 방식은 NO-THINK 모드에서 강화학습을 수행한 뒤 추론 성능이 좋아졌다고 보고한다. 논문은 이 과정에서 기존 THINK 능력이 일부 되살아나는 현상을 ‘thinking leakage’, 즉 사고 누출이라고 부른다.

핵심 내용

• NO-THINK 출력이 THINK처럼 변한다. 연구진은 Qwen3-1.7B, 4B, 8B에 GRPO를 적용했다. 정확도가 높아질수록 답변은 길어지고 더 성찰적인 형태를 보였다. 또한 원래 모델이 보기에 학습 전 THINK 모드의 출력과 비슷한 답변이 늘어났다.
• THINK 모드에 접근하지만 이를 넘지는 않는다. 강화학습 업데이트를 더 크게 하자 모델의 THINK 관련 행동과 정확도가 계속 증가해 원래 THINK 모드에 가까워졌다. 하지만 그 성능을 넘어서는 결과는 제시되지 않았다. 이는 완전히 새로운 추론 능력을 학습했다는 해석을 약화시킨다.
• 인과적 개입으로도 확인했다. Qwen3-8B에서는 THINK와 관련된 저차원 활성화 부분을 교체했다. 강화학습 모델의 해당 값을 원래 모델의 값으로 바꾸자 강화학습 성능 향상의 대부분이 사라졌다. 반대로 원래 모델에 강화학습 모델의 값을 넣으면 향상의 상당 부분이 전달됐다. 연구는 변화가 비어 있는 think 블록을 읽는 어텐션 헤드를 거친다는 점도 확인했다.
• GRPO의 학습 신호가 원인일 수 있다. 어드밴티지에 따라 더 강하게 반영된 답변은 THINK 모드와 더 비슷했다. 이 신호로 계산한 한 번의 그래디언트 업데이트 역시 모델을 더 성찰적인 행동으로 이동시켰다.

의미와 영향

이 연구가 강화학습의 효과를 부정하는 것은 아니다. 다만 후속 학습의 결과를 모두 ‘새로운 능력의 획득’으로 부르는 것은 위험하다는 점을 강조한다. 명시적인 사고 모드를 가진 모델에서는 NO-THINK 강화학습이 새로운 추론 메커니즘을 처음부터 만드는 대신, 가중치·활성화·어텐션 경로를 통해 기존 THINK 행동을 부분적으로 복원할 수 있다.

이 차이는 평가 방식에 직접적인 영향을 준다. 학습 전후의 정확도만 비교하면 모델이 새로운 전략을 배웠는지, 특정 작업에 더 잘 적응했는지, 억제돼 있던 능력을 다시 사용했는지 구분하기 어렵다. 앞으로는 모드를 일치시킨 기준선, 활성화 개입, 능력의 습득과 호출을 구분하는 인과 분석이 필요하다. 모델 개발자 역시 강화학습 기법을 최종 점수만으로 평가하지 말고 출력 길이, 모드 변화, 추론 비용을 함께 살펴봐야 한다.

출처: Hugging Face Daily Papers