RLVR은 추론 능력보다 먼저, 해법의 입구를 잠근다

들어가며

검증 가능한 보상을 활용하는 강화학습, 즉 RLVR은 한 번의 샘플에서 정답을 얻는 확률을 높인다. 그러나 그 대가로 모델이 선택하는 추론 경로의 폭이 좁아질 수 있다. 비슷한 경로만 반복하게 되면 테스트 시 샘플 수를 늘려도 새로운 해법을 얻는 효과는 감소한다.

이번 연구는 이런 수축이 추론 과정의 어느 지점에서 일어나는지 조사했다. 모델이 유효한 해법군에 접근하지 못하는 것인지, 아니면 해당 해법에 들어간 뒤 계산을 수행하지 못하는 것인지가 핵심 질문이다. Countdown 과제를 사용한 결과, 문제는 주로 계산 실행이 아니라 첫 계산으로 들어가는 입구에 있는 것으로 나타났다.

핵심 결과

• 해법 커버리지가 감소한다. 연구진은 첫 번째 피연산자와 연산자로 해법을 여러 진입군으로 나누고, Qwen2.5-3B의 PPO와 Qwen2.5-3B-Instruct의 GRPO를 비교했다. 두 설정 모두 커버리지가 최대 67% 줄었으며, 모든 체크포인트에서 풀린 문제에서도 커버되는 해법군은 절반 수준으로 감소했다.
• 가장 큰 변화는 초기에 발생한다. 첫 산술 연산 이전의 토큰별 우도 변화는 이후 추론 단계보다 11~16배 컸다. RLVR은 모델의 전체 계산 능력보다 어떤 경로를 처음 선택하는지에 더 강하게 영향을 준 셈이다.
• 후속 실행 능력은 남아 있다. 모델이 거의 선택하지 않던 진입 접두사만 제공하자, PPO 환경에서 접근률이 낮은 해법군의 완료율이 0.018에서 0.212로 상승했다. 경로에 들어가기만 하면 모델은 이후 절차를 수행할 수 있다는 해석을 뒷받침한다.
• 진입점 개입이 더 효과적이다. 일반적인 표면 프롬프트는 다양성을 충분히 회복하지 못했다. 반면 후기 레이어의 파라미터를 초기 체크포인트와 보간하면 pass@1을 낮추지 않고 해법 커버리지를 37% 높일 수 있었다.
• 불가피한 부작용은 아니다. 6개 수학 벤치마크와 7B·14B 모델에서 초기 단계 엔트로피 감소가 반복됐지만, SFT 기준선은 두 배를 넘는 커버리지를 유지했다. SFT–DPO–RLVR을 단계적으로 적용한 파이프라인도 초기 엔트로피를 보존했다.

의미와 영향

이 연구는 “RLVR이 탐색을 줄인다”는 현상을 진입 실패라는 관점에서 구체화한다. 모델이 대안 해법을 완전히 잊은 것이 아니라, 성공률이 높은 소수의 시작점에 치우쳐 다른 경로를 시작하지 않게 된다는 설명이다.

이는 테스트 시 스케일링의 전제와도 연결된다. 첫 단계에서 분기가 사라지면 샘플 수나 추론 예산을 늘려도 유사한 궤적을 반복할 가능성이 높다. 따라서 RLVR을 평가할 때 pass@1만 볼 것이 아니라 초기 단계 엔트로피와 진입군 커버리지도 함께 추적해야 한다.

실용적인 방향은 추론 전체에 막연한 다양성 프롬프트를 추가하는 대신, 출발점의 분기를 보존하는 것이다. 다만 실험은 Countdown과 수학 벤치마크를 중심으로 진행됐다. 코드 생성, 개방형 추론, 멀티모달 작업에서도 같은 진입 잠금 현상이 나타나는지는 추가 연구가 필요하다.

출처: Hugging Face Daily Papers