When2Think, 추론 모델에 ‘언제 생각할지’를 학습시키다

대규모 추론 모델은 복잡한 문제를 풀 때 긴 사고 과정을 생성하며 높은 성능을 보인다. 하지만 더 오래 생각한다고 항상 더 좋은 결과가 나오는 것은 아니다. 쉬운 문제에 불필요하게 많은 계산을 사용하면 효율이 떨어지고, 어려운 문제에서 너무 빨리 답을 내면 정확도가 손상될 수 있다. 마이크로소프트 연구진이 제안한 When2Think는 이 문제를 입력별 계산 자원 배분 문제로 정의한다.

일괄적인 길이 축소의 한계

기존 효율화 방식에는 모든 응답에 동일한 길이 페널티를 주거나, 고정된 규칙으로 입력을 여러 경로에 나누는 접근이 있다. 이런 방식은 쉬운 문제의 계산량을 줄일 수 있지만, 어려운 문제에 필요한 추론까지 줄일 위험이 있다. When2Think는 문제마다 직접 답할지, 더 긴 추론을 수행할지를 모델이 학습하도록 설계됐다. 논문은 이를 각각 System 1（NoThink）과 System 2（Think）로 설명한다.

핵심 구성요소는 인스턴스 수준 난이도 인식 제어, 즉 IDAC다. IDAC는 사전에 계산한 인스턴스별 정확도와 토큰 사용량 통계를 활용해 학습 보상을 조정한다. 목적은 단순히 출력을 짧게 만드는 것이 아니다. 추가 추론의 가치가 낮은 문제에서는 빠른 답변을 유도하고, 더 깊은 계산이 필요한 문제에서는 추론 시간을 보존하는 것이다.

별도 보상 모델 없이 수행하는 후학습

IDAC는 검증기 기반 보상과 배치 단위 표준화 어드밴티지와 함께 사용된다. 논문 초록에 따르면 이 조합은 학습된 보상 모델이나 학습 중 온라인 참조 모델 질의 없이도 안정적인 critic-free 최적화를 지원한다. 즉, 추론 깊이를 선택하는 문제와 후학습 과정의 부담을 동시에 줄이려는 설계다.

벤치마크 결과와 의미

수학 벤치마크에서 When2Think는 정확도와 효율의 균형을 개선했다. 기본 모델과 비교했을 때 AIME24에서 Pass@3가 10.0% 상승했고 토큰 사용량은 27.9% 감소했다. AIME25에서는 Pass@3 40.0%를 기록해 논문에서 비교한 압축 중심 및 라우팅 중심 기준선을 넘어섰다.

이 결과가 주는 시사점은 모든 답변을 일괄적으로 줄이는 것보다, 계산이 필요한 문제를 선별하는 것이 중요하다는 점이다. 다만 제공된 자료는 수학 벤치마크와 방법론의 개요를 중심으로 하며, 다른 분야에서의 일반화, 세부 비용 분석, 난이도 판단의 안정성까지 입증하지는 않는다. 따라서 실제 적용 범위는 추가 검증이 필요하다. 그럼에도 When2Think는 ‘생각할지’와 ‘얼마나 생각할지’를 하나의 적응형 제어 문제로 학습하는 후학습 방향을 제시한다.

출처: Hugging Face Daily Papers