긴 CoT 강화학습에서 모든 Token이 같은 공로를 가져야 할까

도입

긴 Chain-of-Thought, 즉 long-CoT는 대규모 언어모델의 수학 추론 능력을 높이는 핵심 전략으로 자리 잡았다. 이 과정에서 정답 여부를 검증 가능한 보상으로 활용하는 RLVR은 중요한 학습 방식이다. 하지만 한 가지 근본적인 질문이 남는다. 최종 답이 맞거나 틀렸다고 판정됐을 때, 생성 과정의 모든 token에 같은 공로 또는 책임을 부여해도 될까.

논문 “Not All Tokens Deserve Equal Credit”은 이 가정에 문제를 제기한다. 연구진은 token 수준의 신용 할당을 분석하고, GRPO를 단순하게 확장한 Counterfactual Sensitivity Credit Reallocation, 즉 CSCR을 제안한다.

핵심 내용

• GRPO의 보상 분배는 거칠다: GRPO 같은 critic-free 방법은 응답 단위 보상을 advantage로 바꾼 뒤, 이를 출력 내 모든 token에 균일하게 배분한다. 구현은 간단하지만, 결정적인 계산 단계와 접속어, 형식 token을 같은 중요도로 취급한다는 한계가 있다.

• 자기 증류의 확률 변화도 항상 믿을 수 없다: OPSD는 특권 정보를 가진 자기 교사 모델과 일반 정책 간의 분포 차이를 이용해 더 촘촘한 학습 신호를 제공하려 한다. 그러나 저자들은 동일한 샘플 궤적을 고정한 뒤, 하나는 “정답”이라고 가정하고 다른 하나는 “오답”이라고 가정해 다시 점수를 매겼다. 그 결과 많은 token이 두 조건에서 같은 방향으로 움직였고, 부호가 반대로 바뀌는 경우는 제한적이었다.

• 큰 변화는 표면 표현에 몰리는 경향: likelihood 변화가 큰 token은 문제 해결의 핵심 논리라기보다, 대체 가능한 표현이나 형식, 연결어에 집중되는 경향을 보였다. 반대로 문제별 추론 내용을 담은 token은 상대적으로 덜 민감할 수 있었다. 즉, 많이 변한다고 해서 학습 가치가 높다는 뜻은 아니다.

• CSCR은 보상을 새로 만들지 않고 재배분한다: CSCR은 특권 모델이 유도한 방향을 그대로 새로운 최적화 방향으로 삼지 않는다. 대신 반사실적 민감도가 높은 token의 신용을 낮추고, token 수준 advantage를 다시 정규화해 원래 검증기가 정한 전체 신용 예산과 방향을 유지한다.

의미와 영향

이 연구는 긴 CoT 강화학습에서 중요한 실패 가능성을 짚는다. 모든 token에 같은 보상을 주면, 모델은 실제 추론에 필요한 단계뿐 아니라 성공한 답변에 우연히 포함된 문체나 형식까지 강화할 수 있다. 반대로 자기 증류가 만든 확률 변화를 과신하면, 추론 기여가 아니라 언어적 대체 가능성을 학습 신호로 오해할 수 있다.

CSCR의 장점은 보수적인 설계에 있다. 검증기 기반의 응답 단위 판단을 버리지 않으면서, 과도하게 민감한 token에 너무 많은 신용이 배정되는 것을 막는다. 논문에 따르면 CSCR은 여러 long-CoT 수학 추론 벤치마크와 모델 규모에서 동일한 정책 업데이트 횟수 기준으로 GRPO 및 자기 증류 기준선보다 일관되게 나은 결과를 보였다. 또한 적당한 downweighting이 가장 효과적이며, 너무 강한 조정은 최적화를 불안정하게 만들 수 있다는 점도 확인했다.

추론 모델을 훈련하는 팀에게 이 논문의 메시지는 분명하다. 좋은 보상만으로는 충분하지 않다. 그 보상을 긴 추론 궤적의 어느 token에 얼마나 배분할지 역시 모델 성능을 좌우하는 핵심 요소가 될 수 있다.

출처: Hugging Face Daily Papers