RL 사후학습 계산 자원은 어디에 써야 할까: 모델 크기, 탐색, 학습, 피드백

도입

강화학습 기반 사후학습은 기초 모델의 추론과 계획 능력을 높이고, 피드백 기반 로봇 학습 파이프라인을 만드는 데 점점 더 많이 쓰이고 있다. 하지만 그 비용은 흔히 “총 FLOPs”라는 하나의 숫자로 요약된다. arXiv 논문 “Where Should RL Post-Training Compute Go?”는 이 숫자 하나가 실제 의사결정을 가린다고 지적한다. 같은 사후학습 예산 안에서 계산을 더 큰 정책 모델에 쓸지, 더 오래 학습하는 데 쓸지, 더 많은 rollout 탐색에 쓸지, 아니면 더 강한 보상 피드백에 쓸지가 핵심 문제라는 것이다.

핵심 내용

• 총 FLOPs만으로는 부족하다: 저자들은 GRPO 사후학습을 위한 FLOP 회계 프레임워크를 제안한다. 계산을 rollout/search, policy-update/learning, reward 또는 feedback model evaluation으로 나누어, 예산이 샘플링, 최적화, 피드백 중 어디에 쓰였는지 드러낸다.
• 모델 크기와 학습 배분은 서로 얽혀 있다: 동일한 FLOPs 조건에서도 큰 정책 모델은 토큰당 계산 비용이 높다. 따라서 같은 예산으로 살 수 있는 업데이트 수나 rollout 수가 줄어든다. 모델을 키우는 선택은 단순한 규모 변경이 아니라 전체 학습 배분을 바꾸는 결정이다.
• 보상 시스템이 계산 구조를 바꾼다: 규칙 기반 보상에서는 업데이트 외 계산의 대부분이 정책 rollout에 쓰인다. 반면 PRM 스타일 피드백을 쓰면 보상 모델 추론이 예산의 눈에 띄는 부분을 차지한다. 더 좋은 피드백은 무료가 아니며, 정책 추론 및 학습과 같은 장부에서 계산되어야 한다.
• 보편적인 최적 배분은 없다: LoRA가 적용된 Qwen2.5 정책들에 대한 분석에서, 관측된 최선의 배분은 모델 크기, 전체 예산, 보상 방식, 평가 목표에 따라 달라졌다. 한 설정에서 좋은 배분이 다른 설정에서도 그대로 통한다고 보기 어렵다.
• RACE는 진단 도구다: 논문은 RACE를 비싼 검증 실험 전에 유망한 계산 배분 구간을 찾기 위한 pilot-grid protocol로 제시한다. 다만 held-out 성능 향상을 보장하는 방법이 아니라, 배분 방향을 점검하는 진단적 절차로 설명한다.

의미와 영향

이 연구의 핵심은 RL 사후학습 계산의 “황금 비율”을 제시하는 데 있지 않다. 더 중요한 메시지는, 총 FLOPs만 보고 실험을 비교하면 오해가 생길 수 있다는 점이다. 두 시스템이 같은 총 계산량을 썼더라도 탐색, 학습, 피드백에 배분한 비율이 다르면 실질적으로 다른 실험일 수 있다.

연구 논문에는 총 FLOPs와 함께 내부 배분을 보고해야 한다는 요구가 커질 수 있다. 엔지니어링 관점에서도 예산이 제한될 때 무조건 더 큰 모델이나 더 많은 샘플링을 택하기보다, 작은 규모의 진단 그리드로 먼저 배분 영역을 탐색하는 편이 합리적이다. 추론 모델, 에이전트, embodied AI에서 RL 사후학습이 중요해질수록 “얼마나 계산했는가”만큼 “어디에 계산을 썼는가”가 중요한 기준이 될 것이다.

출처: arXiv