Outcome RL이 사는 것: 더 나은 마무리와 신뢰성, 제한적인 새 문제 도달

들어가며

Outcome RL은 흔히 모델의 추론 능력을 높이는 방법으로 설명됩니다. 그러나 pass@1이 상승했다고 해서 모델이 새로운 지식이나 완전히 새로운 풀이 능력을 얻었다고 단정할 수는 없습니다. 토큰 예산이 끝나기 전에 답을 정리하는 능력이 좋아졌을 수도 있고, 추론을 마친 뒤 정답을 선택하는 안정성이 높아졌을 수도 있습니다. 논문 「What Outcome RL Buys: Finishing, Reliability, Rarely Reach」는 이 차이를 분해해 살펴봅니다.

연구진은 공개된 RL 모델 20개와 이들이 학습을 시작한 사고 모델을 비교했습니다. 모델 규모는 1.5B에서 32B까지이며, 물리와 수학 문제를 고정 토큰 예산에서 평가했습니다. 여러 차례 샘플링을 사용해 우연한 단일 정답과 반복적으로 나타나는 능력을 구분했습니다.

세 가지 변화

pass@1의 변화는 다음 세 요소로 나뉩니다.

• 완성(Finishing): 토큰 예산이 끝나기 전에 답을 내놓는가를 봅니다. RL 모델이 단지 추론을 더 잘 마무리하는 효과를 포착합니다.
• 신뢰성(Reliability): 두 모델이 모두 답을 완성했을 때 어느 쪽이 더 자주 맞히는지를 측정합니다.
• 도달(Reach): 기반 모델이 8번 모두 실패한 문제를 RL 모델이 해결한 수에서, 그 반대의 경우를 뺀 값입니다.

핵심 결과

기반 모델이 토큰 한도에 자주 걸리는 상황에서는 성능 변화의 대부분이 완성에서 나왔습니다. 4k와 8k 예산에서 관련 변화의 82%가 더 나은 완성과 연결됐습니다. 토큰을 더 제공하면 기반 모델이 그 격차의 상당 부분을 스스로 줄였습니다. 따라서 이 조건에서 관찰되는 RL의 이점 중 일부는 지식의 확장보다 추론 속도와 중단 전략의 개선으로 볼 수 있습니다.

기반 모델에 답을 완성할 충분한 시간이 있는 경우에는 신뢰성이 핵심이었습니다. 두 모델이 모두 답을 냈더라도 RL 모델이 더 자주 정답을 선택했습니다. 이는 유의미한 개선이지만, 기반 모델이 전혀 접근하지 못하던 문제를 폭넓게 해결한다는 뜻은 아닙니다. 논문의 정의에 따르면 네 개의 물리·수학 세트에서 도달의 기여는 최대 2.1%포인트였습니다.

연구진은 RL 모델만 해결한 물리 문제 144개도 확인했습니다. 재샘플링이나 사람의 검토를 거친 뒤에도 견고하게 남은 사례는 3.5%에 불과했습니다. 무작위 표본에서는 사람이 확인한 RL의 새로운 추론 단계 10개 중 9개가 기반 모델의 샘플에도 나타났습니다. 겉보기에는 새로운 풀이처럼 보여도 실제로는 기반 모델이 이미 생성할 수 있었고, RL이 그 경로의 출현 확률이나 완성 확률을 높였을 가능성이 큽니다.

의미와 영향

이 연구는 pass@1 하나만으로 RL의 효과를 판단해서는 안 된다는 점을 보여줍니다. 평가에는 토큰 예산, 완성률, 완성 이후의 정답률, 반복 샘플링에서의 문제 커버리지를 함께 제시해야 합니다. 목표가 시간 초과를 줄이는 것이라면 종료 행동을 개선하는 학습만으로도 충분한 효과를 얻을 수 있습니다. 반대로 기반 모델에 없던 능력을 확보하려면 도달성을 별도로 검증해야 합니다.

Outcome RL의 가치는 부정되지 않습니다. 모델이 추론을 끝까지 마치고, 이미 가진 능력을 더 안정적으로 발휘하도록 만들 수 있기 때문입니다. 다만 기존 능력을 안정적으로 꺼내는 것과 새로운 능력을 획득하는 것은 구분해야 합니다.

출처: Hugging Face Daily Papers