SAT: 샘플의 오래됨에 맞춰 신뢰 영역을 조정해 비동기 강화학습을 안정화

도입

비동기 강화학습은 대규모 모델 후학습에서 점점 중요한 시스템 설계가 되고 있다. 추론 엔진은 rollout을 계속 생성하고, 학습 측은 이를 별도로 소비하며 모델을 업데이트한다. 이 구조는 처리량을 높이는 데 유리하지만, rollout을 만든 정책과 실제 최적화에 쓰이는 현재 정책이 달라지는 문제를 낳는다. 논문은 이를 staleness, 즉 데이터의 오래됨으로 다룬다.

「Stale but Stable」이 제안한 Staleness-Adaptive Trust Region(SAT)은 이 문제를 단순한 지연 현상이 아니라 신뢰 영역의 불일치로 본다. PPO의 클리핑은 샘플된 업데이트 비율을 제한하지만, 추론 정책과 학습 정책 사이의 전체적인 괴리를 완전히 제어하는 제약은 아니다. 특히 비동기 환경에서는 policy lag, 추론 엔진 지연, MoE 라우팅 차이가 겹치면서 오래된 샘플이 더 위험한 업데이트를 만들 수 있다.

핵심 내용

• 핵심 문제는 학습-추론 불일치다. 논문은 유한 horizon 관점에서, 데이터를 만든 정책과 현재 학습 정책의 divergence가 근사 오차에 영향을 준다고 설명한다.
• SAT는 staleness에 따라 신뢰 영역을 조정한다. detached sampled log-ratio를 실용적인 staleness 프록시로 사용하고, 배치 안에서 mismatch가 큰 꼬리 구간을 식별한다.
• PPO 구간을 전부 줄이지 않는다. SAT는 모든 토큰에 동일하게 보수적인 제약을 적용하지 않고, 명목 PPO 구간 중 부호에 따라 선택된 끝점만 수축한다. 일반 토큰에서는 기본 PPO 동작을 유지하고, 새롭게 포착된 바깥쪽 업데이트 대역은 더 조심스럽게 만든다.
• 이론적 성질도 제시된다. 저자들은 PPO 대비 국소적 interval containment와 pointwise pessimism을 증명해, 이질적인 staleness 아래에서 업데이트 기하가 어떻게 바뀌는지 설명한다.
• 실험은 실제적인 비동기 RL 스택에서 수행됐다. Qwen3-30B-A3B-Base를 기반으로 하고, 추론에는 SGLang, 학습에는 Megatron을 사용했다. 보고된 설정에서 SAT-GSPO w/ R3는 AIME24 avg@8 기준 lag 1에서 35.83, lag 8에서 34.79를 기록했으며, SAT-GSPO는 lag 1에서 34.17을 보였다.

의미와 영향

SAT의 의미는 비동기 RL의 안정성을 평균 지연 하나로 보지 않고, 샘플별 불일치의 분포로 다룬다는 데 있다. 실제 분산 학습 파이프라인에서는 현재 정책과 거의 맞는 샘플도 있고, 상당히 오래된 샘플도 섞여 있다. 일괄적인 PPO 클리핑은 오래된 샘플에는 느슨하고, 일반 샘플에는 불필요하게 보수적일 수 있다.

이 점에서 SAT는 안정성과 학습 효율 사이의 절충을 노린다. 논문은 또한 adaptive clipping과 routing replay를 상호 보완적 안정화 장치로 제시한다. 전자는 mismatch 꼬리 샘플을 겨냥하고, 후자는 라우팅 불일치를 다룬다.

다만 제공된 결과는 특정 모델, 벤치마크, 비동기 학습 구성에 기반한다. 더 다양한 과제, MoE 구조, 지연 분포에서도 같은 장점이 유지되는지는 추가 검증이 필요하다. 그럼에도 이 연구는 분산 RL 최적화기가 advantage와 ratio뿐 아니라, 각 샘플이 얼마나 오래되었는지도 고려해야 한다는 방향을 분명히 보여준다.

출처: Hugging Face Daily Papers