LLM 강화학습이 어려운 문제를 포기하지 않게 하는 NGU

들어가며

대규모 언어 모델의 추론 능력을 높이는 방법으로 강화학습(RL)이 널리 활용되고 있다. 하지만 RL의 효과가 모든 문제에 동일하게 나타나는 것은 아니다. 논문 「Learning to Solve Hard Problems in RL for LLMs by Never Giving Up」은 모델이 이미 비교적 잘 풀고 있는 쉬운 문제에서는 큰 향상이 나타나는 반면, 실제로 어려운 문제에서는 개선 폭이 작다는 현상을 보여준다.

저자들은 이를 LLM 강화학습의 마태 효과라고 부른다. 경제학과 네트워크 과학에서 말하는 “부자는 더 부자가 된다”는 누적 우위 현상을 빌린 표현이다. 쉬운 문제는 정답 샘플을 얻기 쉽고, 그 성공 경험이 다시 학습을 강화한다. 반대로 어려운 문제는 정답을 거의 생성하지 못하기 때문에 학습에 사용할 수 있는 신호도 부족해진다.

핵심 내용

• 문제는 어려운 문제에 더 많은 계산이 필요하다는 사실만이 아니다. 기존 RL 방식은 문제마다 비슷한 수의 샘플을 생성하는 경우가 많다. 모델이 쉬운 문제를 이미 해결한 뒤에도 계속 같은 문제에 계산을 쓰면, 어려운 문제에 배정될 자원이 줄어든다.
• NGU는 샘플링을 상황에 맞게 바꾼다. Never Give Up의 기본 아이디어는 단순하다. 어떤 문제에서 정답을 얻지 못했다면 샘플 생성을 계속하고, 정답을 찾은 문제에는 같은 수준의 탐색을 더 이상 반복하지 않는다.
• 비동기 RL이 자원 재배분을 돕는다. 모든 문제를 같은 횟수만큼 동시에 처리하는 대신, 각 문제의 진행 상황에 따라 독립적으로 진행한다. 쉬운 문제는 일찍 종료되고 어려운 문제는 더 많은 시도를 받는다.
• 학습 안정성에 대한 설계도 필요하다. 연구는 비동기 및 오프폴리시 환경에서 NGU를 적용할 때 필요한 선택지를 검토하고, 단순히 생성 횟수만 무한히 늘리는 것이 아닌 실천적 권고를 제시한다.

실험 결과와 의미

Deepscaler 수학 벤치마크에서 NGU는 계산량 대비 성능을 높였으며, 특히 어려운 문제에서 효과가 컸다. Manufactoria 코딩 과제에서는 표준 GRPO와 테스트별 보상을 사용할 때 문제가 드러난다. 모델은 쉬운 테스트를 통과해 평균 보상을 높일 수 있지만, 쉬운 테스트와 어려운 테스트가 함께 있는 문제를 완전히 해결하지 못할 수 있다. NGU는 아직 통과하지 못한 테스트를 계속 겨냥해 점진적으로 더 어려운 테스트를 해결하고, 최종적으로 문제 전체를 해결하는 방향으로 학습한다.

이 연구의 핵심 기여는 복잡한 새 알고리즘보다 RL을 계산 자원 배분 문제로 다시 바라보게 했다는 데 있다. 어떤 문제에 얼마나 오래 시도할 기회를 줄 것인지는 최종 모델 능력에 직접적인 영향을 준다. 고정된 배치와 고정된 샘플 수는 운영하기 쉽지만, 모델이 이미 알고 있는 내용을 확인하는 데 계산을 과도하게 쓰고 어려운 문제의 긴 꼬리에는 충분한 기회를 주지 못할 수 있다.

이번 결과는 수학과 코딩 과제를 중심으로 제시되었으므로, 다른 보상 설계와 작업 분포, 학습 규모에서도 같은 효과가 나타나는지는 추가 검증이 필요하다. 그럼에도 NGU는 분명한 방향을 제시한다. 모델이 어려운 문제를 만났을 때 평균적인 샘플 예산 때문에 조기에 중단하는 대신, 해결의 증거가 나올 때까지 계속 시도하도록 학습 과정을 설계하자는 것이다.

출처: Hugging Face Daily Papers