GRPO의 밀집 보상은 추가 연산 비용만큼 가치가 있을까

검증 가능한 보상을 활용하는 강화학습은 언어 모델이 최종 답을 맞혔을 때 보상하는 방식으로 추론 능력을 학습시킨다. 널리 쓰이는 GRPO는 최종 결과에서 나온 신호를 풀이 과정의 여러 토큰에 공유한다. 이에 비해 밀집 과정 보상은 중간 단계마다 더 구체적인 신용 할당을 제공하려는 접근이다.

대표적인 예가 몬테카를로 보상이다. 특정 단계까지 답을 생성한 뒤 그 지점에서 여러 후속 답변을 샘플링하고, 최종 성공 여부를 이용해 해당 단계의 가치를 추정한다. 더 풍부한 피드백을 줄 수 있다는 장점이 있지만, 후속 답변을 생성하는 비용을 무시할 수 없다. 이번 연구 설정에서는 후속 생성만으로 전체 생성 토큰의 91%가 사용됐다.

업데이트 수가 아닌 실제 비용으로 비교

연구진은 각 학습 개입에 동일한 예산을 주는 평가 프로토콜을 제안했다. 기준은 생성 토큰 수와 학습에 사용된 GPU 시간이었다. 실험은 사전 등록됐으며, 개입으로 발생할 수 있는 부작용도 통제했다. 6개 모델에서 총 1668개 실행을 수행한 결과, 업데이트마다 비교했을 때의 순위가 계산량을 맞추자 뒤집혔다.

Qwen2.5-1.5B에서는 같은 업데이트 횟수만 놓고 보면 몬테카를로 보상이 표준 GRPO보다 앞섰다. 그러나 생성 토큰 수를 동일하게 맞추자 최종 정확도는 표준 GRPO보다 14.3%포인트 낮았다. 학습 시간을 같게 했을 때도 7.8%포인트 낮았다. 네 가지 밀집 보상 변형 가운데 어느 것도 동일한 학습 시간을 제공받은 표준 GRPO를 넘지 못했다.

토큰별 그래디언트 테스트는 각 보상 방식의 대략적인 순위를 실제 학습 결과와 같은 방향으로 정렬했다. 하지만 최종 효과를 1~2%포인트 과대평가했다. 이 오차는 테스트가 발견하려는 개선 폭과 비슷한 수준이다. 따라서 한 배치에서의 그래디언트 측정만으로 전체 학습을 대신하기는 어렵다.

더 단순한 프롬프트 선택

연구진은 보상 함수를 복잡하게 만드는 대신 어떤 문제를 학습할지 선택하는 전략도 검토했다. 모델이 정답을 낼 것으로 예측하는 확률이 약 50%인 프롬프트, 즉 모델이 가장 불확실한 문제를 우선 학습하는 방식이다. 계산량을 맞춘 조건에서 Qwen3-0.6B의 정확도는 1.7%포인트, Qwen2.5-1.5B는 0.8%포인트 향상됐다. 새로운 시드와 보지 못한 문제에서도 효과가 재현됐다.

다만 이 결과를 완전히 새로운 알고리즘의 우위로 해석하기는 어렵다. 개선 효과는 학습 초기에 나타났고, 표준 GRPO의 초기 학습률을 두 배로 높이면 차이가 0.5%포인트 이내로 줄었다. 후보 프롬프트가 성공보다 실패할 가능성이 높다고 예측되는지 여부라는 단순한 규칙도 사전 등록된 6개 테스트 중 5개에서 효과가 나타날 위치를 예측했다.

왜 중요한가

이 연구가 모든 밀집 보상이 쓸모없다고 주장하는 것은 아니다. 핵심은 추가 샘플링과 생성 토큰, GPU 시간을 포함해 방법의 가치를 평가해야 한다는 점이다. 추론 모델에서는 더 정교한 신용 할당이 후속 샘플 생성 비용을 상쇄하지 못할 수 있다. 앞으로 보상 함수나 데이터 선택, 학습 개입을 비교할 때는 업데이트 수만이 아니라 동일한 계산 예산을 기준으로 평가해야 한다.

출처: Hugging Face Daily Papers