덜 훈련하고 더 배우기: 불확실성 기반 추론 후학습 압축

들어가며

대규모 언어 모델의 추론 능력을 높이기 위한 후학습은 점점 더 많은 비용을 요구하고 있습니다. 긴 사고 연쇄를 포함한 데이터셋을 확대하면 더 많은 감독 신호를 제공할 수 있지만, 데이터 양이 늘어난 만큼 성능이 향상된다고 보기는 어렵습니다. 오히려 모델이 학습에 큰 도움이 되지 않는 추론 경로까지 반복적으로 처리하면서 계산 자원을 소모할 수 있습니다.

난징대학교 연구팀의 논문은 이 문제를 “얼마나 많은 데이터를 학습할 것인가”가 아니라 “어떤 추론 과정에 학습 자원을 집중할 것인가”라는 관점에서 다룹니다. 연구진은 불확실성을 활용해 감독 데이터와 최적화 과정을 단계적으로 줄이는 프레임워크를 제안했습니다.

핵심 방식

기존의 많은 후학습 방식은 교사 모델이 생성한 Chain-of-Thought를 하나의 완성된 경로로 취급합니다. 그러나 단일 경로만으로는 추론 중간 단계에서 모델이 얼마나 확신하는지, 혹은 어떤 지점에서 여러 가능한 후속 경로로 갈라지는지 알기 어렵습니다.

제안 방식은 중간 추론 상태를 중심으로 여러 후속 경로를 샘플링해 몬테카를로 추론 트리를 만듭니다. 이를 통해 동일한 상태에서 나타나는 여러 가능성을 관찰하고, 추론 과정의 불확실성 프로필을 구성합니다. 이 신호는 단순한 데이터 노이즈를 찾기 위한 것이 아니라, 어떤 추론 단계가 학습에 더 큰 가치를 갖는지 추정하기 위한 것입니다.

프레임워크는 두 단계로 구성됩니다.

• 교사 인식형 수축: 불확실성 정보를 바탕으로 원래 코퍼스에서 가치가 높은 경로를 골라 더 작은 감독 데이터 풀을 만듭니다.
• 학습자 인식형 수축: 지도 미세조정이 진행되는 동안 학생 모델의 현재 학습 상태를 확인하고, 필요한 예제에 최적화 자원을 온라인으로 배분합니다.

첫 번째 단계가 “무엇을 학습 풀에 남길 것인가”를 결정한다면, 두 번째 단계는 “현재 시점에 무엇을 더 학습시킬 것인가”를 결정합니다. 따라서 학습 시작 전에 한 번만 데이터를 줄이는 정적 샘플링보다 적응적인 접근에 가깝습니다.

결과와 영향

논문 초록에 따르면, 연구진은 여러 추론 벤치마크와 다양한 LLM 계열에서 방법을 평가했습니다. 일부 실험 설정에서는 전체 데이터 SFT에 필요한 최적화 예산의 0.22%만 사용했으며, 학습 노출량을 450분의 1 이상 줄이면서도 추론 성능을 유지하거나 높였다고 보고했습니다. 이 방법은 서로 다른 학생 모델 계열, 블랙박스 교사 모델, 약한 모델에서 강한 모델로의 전이 상황에도 일반화되는 것으로 제시됐습니다.

이 연구의 의미는 단순한 연산 비용 절감에 그치지 않습니다. 추론 후학습을 모든 데이터를 최대한 많이 사용하는 과정이 아니라, 모델의 변화 가능성이 높은 지점에 학습 기회를 배분하는 문제로 재정의하기 때문입니다. 과정 수준의 불확실성이 유용한 감독 신호를 안정적으로 찾아낼 수 있다면, 커리큘럼 학습과 데이터 선택, 적응형 미세조정에도 활용될 수 있습니다.

다만 제공된 자료에는 모델 규모, 데이터 구성, 보존 비율, 벤치마크별 상세 수치가 포함되어 있지 않습니다. 따라서 0.22%라는 수치는 모든 환경에 적용되는 일반적 설정이 아니라, 보고된 실험 중 일부 조건에서의 결과로 해석해야 합니다. 앞으로는 과제 유형, 교사 모델의 품질, 추론 길이가 달라져도 비용 대비 효과가 유지되는지 추가 검증이 필요합니다.

출처：Hugging Face Daily Papers