진화 전략이 GRPO보다 더 넓은 LLM 추론 경로를 다루는 이유

들어가며

대규모 언어 모델의 추론 후학습을 평가할 때 Pass@1과 Pass@K는 서로 다른 능력을 보여준다. Pass@1은 첫 번째 샘플이 맞는지를 측정하고, Pass@K는 여러 번 생성한 결과 중 하나라도 정답을 찾는지를 본다. GRPO는 단일 시도에서의 정답률을 높이는 데 강하지만, 높은 보상을 받은 행동에 학습이 집중되면 모델이 유지하는 추론 경로의 폭이 줄어들 수 있다.

논문 ‘Understanding Evolution Strategies for LLM Reasoning’은 진화 전략(Evolution Strategies, ES)을 GRPO와 비교해 ES가 단순히 메모리를 덜 쓰는 대체재인지, 아니면 별도의 최적화 원리를 가진 방법인지를 살폈다. 연구 결과는 후자에 가깝다는 점을 보여준다.

핵심 내용

• ES는 추론 커버리지를 넓힌다. 이론 분석과 실험 모두 ES가 여러 해답 경로를 더 폭넓게 유지할 수 있음을 시사했다. 반복 샘플링이 가능한 환경에서는 이러한 범위가 더 높은 Pass@K로 이어질 수 있다.
• 검증기 기반 다양성이 중요하다. 연구진은 ES 모집단을 검증기에 통과시킨 뒤의 Jensen-Shannon 다양성을 분석했다. 분석 결과, 검증기 투영 다양성이 높을수록 Pass@K가 향상되는 데 도움이 된다. 단순한 표현 차이가 아니라, 검증을 통과할 가능성이 있는 서로 다른 해법의 다양성이 핵심이다.
• GRPO에서는 엔트로피 붕괴가 나타날 수 있다. GRPO는 학습 과정에서 출력 분포를 더 좁게 만드는 경향을 보였다. 이는 강한 답변 패턴을 빠르게 선택하는 데 유리할 수 있지만, 대안적인 풀이를 탐색할 여지를 줄인다. 반면 ES는 Pass@1을 개선하면서 Pass@K에서도 GRPO보다 높은 성능을 보였다.
• 두 방법은 결합할 수 있다. 논문은 먼저 GRPO를 적용한 뒤 ES를 학습하는 순차 전략을 제안한다. GRPO의 단일 시도 정답률과 ES의 해법 범위 확장 효과를 함께 얻으려는 접근이다.
• 큰 파라미터 이동이 곧 전면적 기능 변화는 아니다. ES 학습 뒤 모델 전체에서 상당한 파라미터 이동이 발생하더라도, 과제 성능 향상은 일부 큰 폭의 업데이트에 집중됐다. 이를 기능적 희소성으로 볼 수 있다. 파라미터가 넓게 움직였다는 사실만으로 모델 행동이 전반적으로 바뀌었다고 판단할 수 없으며, 보류 과제 평가에서도 이러한 이동이 반드시 치명적 망각을 일으키지는 않았다.
• 모델 규모에 맞춰 모집단을 설계해야 한다. 더 큰 언어 모델에서는 더 작은 ES 모집단이 필요할 수 있다는 결과도 제시됐다. 작은 모델의 설정을 그대로 확장하는 방식은 적절하지 않을 수 있다.

의미와 영향

이번 연구는 ES를 GRPO의 저메모리 버전으로만 보는 관점을 재검토하게 한다. ES의 핵심 가치는 여러 유망한 추론 방향을 유지하면서 최적화한다는 데 있다. 수학, 코드처럼 결과를 검증할 수 있는 과제에서는 첫 답변의 정확도뿐 아니라 여러 번 시도했을 때 정답을 찾아내는 능력도 실제 시스템의 한계를 결정한다.

또한 추론 후학습을 Pass@1만으로 평가해서는 안 된다는 점을 보여준다. 가장 가능성 높은 답이 개선되더라도 대체 경로가 사라지면 모델의 추론 범위는 오히려 좁아질 수 있다. 앞으로는 Pass@K, 출력 엔트로피, 검증기 기반 다양성을 함께 관찰하고, 안정적인 단일 답변이 필요한지 폭넓은 탐색이 필요한지에 따라 GRPO와 ES를 조합하는 전략이 중요해질 전망이다.

출처: Hugging Face Daily Papers