GFlowRL: 분포 매칭 RL을 대규모 언어모델로 확장

도입

대규모 언어모델의 후처리 학습은 대체로 보상을 더 크게 만드는 방향으로 설계된다. 하지만 보상 최대화만 강조하면 모델이 소수의 지배적인 풀이 패턴으로 수렴할 수 있다. GFlowRL: Scaling Distribution-Matching RL to Large Language Models 는 이와 다른 접근을 다룬다. 목표는 가장 높은 보상 하나를 쫓는 것이 아니라, 보상으로 정의되는 분포에 모델의 생성 경로를 맞추는 것이다.

이 아이디어는 Generative Flow Networks, 즉 GFlowNet에서 온다. GFlowNet은 다양한 고보상 해답을 샘플링하도록 설계된 틀이다. 다만 논문에 따르면, 이를 현대적인 LLM 후처리 파이프라인에 그대로 확장하는 과정에서 안정성과 시스템 복잡성 문제가 커졌다.

핵심 내용

• 스케일링의 병목: 기존 GFlowNet식 RL은 prompt 조건 partition function을 별도 네트워크로 학습해 정규화에 사용했다. 저자들은 모델 크기, rollout 길이, 보상 노이즈, 분산 학습 복잡도가 함께 커지면 이 구성요소가 기울기 불안정성과 구현 부담의 원인이 된다고 분석한다.
• GFlowRL의 핵심 단순화: GFlowRL은 보조 partition network를 제거한다. 대신 학습에 이미 필요한 rollout group에서 배치 내 몬테카를로 추정을 계산해 사용한다. 이를 통해 보상 분포 매칭 목표는 유지하면서 학습 구조를 가볍게 만든다.
• 두 가지 안정화 장치: rollout 정책과 trainer 정책 사이의 드리프트를 보정하기 위한 importance-sampling correction, 그리고 이상치성 residual의 영향을 줄이는 asymmetric flow-gap clipping을 도입했다.
• 보고된 실험 결과: 논문은 GFlowRL이 수학, 코드, 적대적 레드팀 벤치마크에서 비교 방법을 앞섰다고 보고한다. 14B 규모에서는 Codeforces rating 2048에 도달했으며, 이는 o3-mini와 25 Elo 이내라고 설명한다. AdvBench와 HarmBench에서는 평균 ASR@1이 가장 높았다.
• MoE 확장성: 동일한 학습 레시피가 평가된 모든 MoE 구성으로 이전됐고, 최대 235B 파라미터 설정까지 다뤘다. 저자들은 기존 GFlowNet식 방법인 FlowRL이 수렴하지 못한 구간에서도 GFlowRL은 안정적으로 동작했다고 주장한다.

의미와 영향

GFlowRL의 메시지는 명확하다. 이론적으로 중요한 정규화 모듈이라도, 대규모 LLM 후처리 학습에서는 불안정성과 운영 비용을 키울 수 있다. 학습되는 partition function을 배치 기반 추정으로 바꾼 것은 기존 rollout 중심 RL 파이프라인과 더 잘 맞는 설계다.

결과가 추가 재현을 통해 확인된다면, GFlowRL은 보상 최대화 RL의 보완재가 될 수 있다. 다양한 풀이가 중요한 수학 추론, 탐색적 코드 생성, 안전성 평가용 레드팀 생성에서 특히 의미가 있다. 동시에 레드팀 성능 향상은 공격 샘플 생성 능력 강화라는 양면성을 갖기 때문에, 실제 적용에는 안전한 배포 기준과 통제가 함께 필요하다.

출처: arXiv