추론 모델의 ‘Wait’는 발명이 아니라 학습 데이터의 유산

서론: 눈에 보이는 단어가 추론 능력은 아니다

추론 모델은 때때로 {wait}를 출력한 뒤 앞선 계산이나 추론 단계를 다시 확인한다. 이 때문에 해당 표식은 강화학습, 특히 검증 가능한 보상을 사용하는 학습이 모델에 ‘멈추고 다시 생각하기’를 가르쳤다는 증거로 해석되곤 했다.

논문 「Inherited, Not Invented」는 이 설명을 더 세밀하게 검토한다. 연구진은 {wait}가 강화학습으로 새롭게 발명된 것인지, 아니면 학습 데이터와 중간 학습 단계에서 이미 습득한 표현인지 추적했다. 오픈 모델의 샘플 출력에서 표식의 빈도뿐 아니라 위치, 표면 형식, 실제 사용 방식을 측정했으며, 일부 문제에 오류를 주입해 표식이 실제 재검토 행동과 연결되는지도 살폈다.

핵심 결과

• 강화학습이 표식을 일반적으로 만들어내지는 않는다. 기초 모델이 {wait}를 사용하지 않는 경우, 제로 강화학습을 거치며 MATH-500 성능이 크게 향상되어도 표식은 거의 나타나지 않았다. 성능 향상과 단어의 출현은 필수적으로 연결되지 않는다.
• 주된 유입 경로는 학습 데이터다. OLMo-3의 학습 이력에서는 중간 학습 단계에서 표식이 등장했다. 추론 트레이스를 활용한 미세조정도 원래 표식이 없던 여러 모델에 해당 표현을 주입했다.
• 강화학습 레시피에 따라 결과가 달라진다. 기초 모델이 이미 {wait}를 사용한다면 OLMo-3와 MiMo의 공개 RL-Zero 레시피는 출현 빈도를 크게 늘렸다. 반면 같은 기초 모델을 사용한 KL 없는 GRPO에서는 같은 효과가 나타나지 않았다.
• 형식과 기능은 분리될 수 있다. OLMo-3의 레시피는 표식의 형태를 약화시키면서 더 민감하지만 더 자유롭게 작동하는 경보로 바꿨다. 지도 미세조정 이후의 강화학습은 표식을 거의 바꾸지 않았고, 연구진의 GRPO 레시피는 미세조정으로 심어진 표식을 지우기도 했다.
• 자동 평가를 그대로 믿기 어렵다. 표식의 빈도만으로 강화학습이 추론 능력이나 자기수정을 만들었다고 결론 내릴 수 없다. LLM을 평가자로 활용해 수정 행동을 판정하면 사람의 라벨링과 반대되는 경향이 나타날 수도 있다.

의미와 영향

이 연구는 추론 모델의 출력에 나타나는 ‘사고 흔적’을 해석할 때 스타일과 능력을 구분해야 한다는 점을 보여준다. 특수 표식은 학습 코퍼스의 관습일 수도 있고, 지도 미세조정의 형식일 수도 있으며, 특정 최적화 레시피가 강화한 출력 습관일 수도 있다. 따라서 모델의 내부 추론 과정을 투명하게 보여주는 창으로 볼 수 없다.

모델을 평가할 때는 정확도가 올랐는지, 표식이 생겼는지, 올바른 위치에서 사용됐는지, 주입된 오류를 실제로 고쳤는지를 각각 확인해야 한다. 사용자는 {wait}를 관찰 가능한 출력 특징으로 볼 수 있지만, 그것만으로 답변의 신뢰성이나 추론의 깊이를 판단해서는 안 된다. 문체상의 신호보다 통제된 행동 테스트와 다양한 평가 방법을 함께 사용하는 것이 더 중요하다.

출처: Hugging Face Daily Papers