LLM 강화학습의 학습·추론 불일치는 왜 발생하는가

들어가며

대규모 언어 모델 강화학습에서 온폴리시 학습은 현재 최적화 중인 정책이 응답을 생성한다고 가정한다. 하지만 실제 시스템에서는 고속 추론 엔진이 응답을 샘플링하고, 별도의 트레이너가 손실과 그래디언트를 계산하는 경우가 많다. 두 구성요소는 수치 계산 방식이 다를 수 있으며, 비동기 실행에서는 서로 다른 버전의 모델 가중치를 사용할 수도 있다.

이 차이 때문에 학습 데이터는 엄밀한 의미의 온폴리시 데이터가 아니게 된다. 조지 워싱턴 대학교 연구팀의 이번 논문은 이 문제를 하나의 오차로 뭉뚱그리지 않고, 원인별로 분해해 각 유형에 맞는 보정 방법을 찾는다.

핵심 발견

• 불일치의 원인은 두 가지다. 샘플러의 가중치에서 트레이너를 평가하면 각 토큰의 오차를 추론 엔진의 수치적 차이와 트레이너의 정책 지연으로 정확히 나눌 수 있다.
• 수치적 차이는 비교적 일정하다. 학습 과정에서 대체로 일정하게 유지되며, 업데이트에 지속적인 편향을 추가한다. 각 접두사 조건에서 점수를 중심화하면 이 편향의 주요 부분을 줄일 수 있다.
• 정책 지연은 피드백을 만든다. 트레이너만 업데이트되면 샘플러와의 가중치 차이가 커진다. 그 차이에서 비롯된 편향이 다음 업데이트에 반영되고, 이후의 지연을 더 키우는 구조다.
• 중요도 가중치에는 한계가 있다. 정책 비율이 집중되어 있을 때는 효과가 있지만, Qwen3-1.7B에서는 비율의 유효 표본 크기가 절반 아래로 떨어지는 시점에 보정이 무너졌다.

DLC의 작동 방식

연구팀은 이러한 분해를 바탕으로 불일치·지연 보정(Discrepancy-Lag Correction, DLC)을 제안한다. 먼저 수치적 차이를 중심화해 지속적인 편향을 줄인다. 이어 샘플러의 가중치를 기준으로 정책 지연에 따른 중요도 비율을 클리핑한다. 유효 표본 크기가 절반 미만으로 낮아지면 신뢰하기 어려운 비율을 계속 사용하는 대신 샘플러를 트레이너와 다시 동기화한다.

Qwen3-0.6B와 Qwen3-1.7B를 사용한 실험에서, 오래된 샘플러를 활용한 DLC 학습과 온폴리시 학습 사이의 KL 차이는 독립적으로 수행한 두 온폴리시 학습 사이의 KL 차이의 두 배 이내로 유지됐다. 또한 재동기화 단계는 토큰 단위 보정만으로는 막지 못한 학습 붕괴를 방지했다. 샘플러의 접두사에서만 KL을 측정하는 방식으로는 이런 위험을 제때 포착하지 못할 수 있다.

의미와 영향

이 연구의 핵심 기여는 학습·추론 불일치를 하나의 잡음으로 취급하지 않는 분석 관점이다. 비교적 고정된 수치 편향에는 중심화가 적합하고, 학습과 함께 변하는 정책 지연에는 비율 관리와 가중치 동기화가 필요하다.

LLM 강화학습 인프라를 설계할 때는 보상이나 단일 KL 지표만 확인해서는 부족할 수 있다. 중요도 비율의 집중도와 유효 표본 크기를 함께 추적하면 보정이 신뢰성을 잃기 시작하는 시점을 더 일찍 파악할 수 있다. 이 연구가 모든 모델과 강화학습 알고리즘에 대한 보편적 보장을 제시하는 것은 아니지만, 불일치의 원인과 대응책을 연결하는 실용적인 분석 틀을 제공한다는 점에서 의미가 있다.

출처: Hugging Face Daily Papers