사전학습부터 RL까지: 체스로 본 추론 능력의 형성

들어가며

강화학습은 대규모 언어모델의 복잡한 추론 능력을 끌어올리는 핵심 후학습 기법으로 자리 잡고 있습니다. 하지만 RL 단계만 따로 떼어 연구하면, 성능 향상이 실제로 RL 덕분인지, 아니면 사전학습 단계에서 이미 형성된 기반 덕분인지 구분하기 어렵습니다. Understanding Reasoning from Pretraining to Post-Training은 바로 이 접점을 정량적으로 살펴보려는 연구입니다.

연구진은 방대한 일반 텍스트 대신 체스를 실험장으로 선택했습니다. 체스는 규칙이 명확하고, 데이터와 정답, 보상 신호를 비교적 통제하기 쉽습니다. 따라서 사전학습에서 후학습까지 이어지는 전체 파이프라인을 분석하기에 적합한 환경입니다.

핵심 내용

• 전체 학습 파이프라인 구성: 연구는 LLM 학습 절차와 유사하게 진행됩니다. 5M부터 1B 파라미터 규모의 언어모델을 인간 체스 기보로 사전학습하고, 합성 추론 흔적으로 지도 미세조정한 뒤, 검증 가능한 보상이 있는 체스 퍼즐에서 RL을 수행했습니다.
• 사전학습 손실이 RL 이후 성능을 예측: 동일한 RL 계산량을 투입했을 때 도달하는 성능은 사전학습 손실과 밀접하게 연결되어 있었습니다. 이는 RL의 결과가 후학습 단계만으로 결정되는 것이 아니라, 이전 단계의 표현과 지식 기반에 크게 의존한다는 뜻입니다.
• 사전학습 토큰이 많을수록 RL 개선도 빠름: 논문은 RL 보상 곡선의 기울기가 사전학습 토큰 수에 따라 대략 선형적으로 개선된다고 보고합니다. 충분한 사전학습은 시작점을 높이는 동시에 RL 신호를 더 효율적으로 활용하게 만들 수 있습니다.
• RL은 SFT 정책의 단순 강화가 아님: 쉬운 퍼즐에서는 RL이 SFT가 이미 선호하던 정답 수를 더 강하게 밀어줍니다. 반면 어려운 퍼즐에서는 SFT 단계에서 거의 나타나지 않았던 정답 수를 찾아내는 효과가 관찰됩니다.
• 수학 영역에서도 유사한 패턴: 연구진은 수학 도메인 텍스트로 학습한 1B 언어모델에서도 검증을 진행했고, 더 오래 사전학습된 체크포인트가 RL 이후 더 높은 성능에 도달하고 더 빠르게 개선되는 경향을 확인했습니다.

의미와 영향

이 연구의 의미는 사전학습, SFT, RL을 각각 분리된 단계로 보지 않고 하나의 연속된 시스템으로 분석했다는 데 있습니다. 모델 개발 관점에서는 RL 계산량을 늘리는 것만큼이나, 그 계산을 받아들일 수 있는 사전학습 기반을 만드는 일이 중요하다는 메시지를 줍니다.

또한 RL의 역할에 대한 이해도 더 정교해집니다. RL은 단순히 SFT가 이미 학습한 답을 더 확신하게 만드는 마무리 단계가 아닐 수 있습니다. 특히 어려운 문제에서는 이전 정책에서 거의 드러나지 않던 해결책을 탐색 가능하게 만드는 역할을 할 수 있습니다.

물론 체스는 매우 구조화된 환경이므로, 개방형 언어 추론 전체에 그대로 적용할 수는 없습니다. 그럼에도 이 연구는 추론 능력이 사전학습과 후학습의 상호작용 속에서 어떻게 형성되는지 살펴볼 수 있는 깔끔한 실험 틀을 제공합니다.

출처: Hugging Face Daily Papers