FlowBalance, 검증기로 추론 모델의 자기개선을 보정하다

들어가며

추론 모델은 자신이 생성한 답변을 다시 학습에 활용할 수 있습니다. 그러나 자기개선이 항상 올바른 방향으로 진행되는 것은 아닙니다. 종단 검증기는 최종 답의 정답 여부를 비교적 신뢰성 있게 판단하지만, 신호가 궤적의 마지막에만 나타나는 경우가 많습니다. 반대로 동일 모델의 조밀한 피드백은 학습에 편리하지만, 그럴듯한 오답을 좋은 추론으로 착각해 잘못된 확신을 강화할 수 있습니다. FlowBalance는 두 신호를 결과에 따라 조정하는 것을 목표로 합니다.

핵심 작동 방식

FlowBalance는 별도의 토큰 단위 모방 손실을 추가하는 대신, 완성된 응답 궤적의 정규화된 분포를 학습합니다. 전체 과정은 다음과 같습니다.

• 궤적 생성: 현재 정책으로 여러 추론 응답을 생성하고 종단 검증기로 결과를 평가합니다.
• 자기 지도 점수 계산: 학습 시 동결된 동일 정책의 관점이 특권 컨텍스트를 이용해 토큰별 로그확률 증가량을 계산하고, 이를 궤적 단위 점수로 합칩니다.
• 그룹 어드밴티지로 보정: 검증기에서 얻은 상대적 결과가 좋은 궤적에서는 자기 지도를 유지합니다. 음의 어드밴티지를 가진 궤적에서는 그 지도의 방향을 반전하고, 한 그룹 안에서 결과 선호가 나타나지 않으면 자기 지도를 비활성화합니다.
• 궤적 수준에서 적합: 보정된 점수를 에너지로 바꿔 기준 정책을 지수적으로 재가중하고, 프로파일링된 궤적 밸런스를 사용해 정규화된 목표 분포에 맞춥니다.

핵심은 모델의 조밀한 피드백을 무조건 신뢰하지 않는 것입니다. 모델은 세부적인 학습 방향을 제공하지만, 그 방향을 따를지, 뒤집을지, 무시할지는 검증 결과가 결정합니다.

분석과 실험 결과

논문은 이 목표가 그룹 내부의 대조 관계를 보존하고, 역방향 KL 관점에서 최소한의 변화로 해석될 수 있으며, 검증기가 목표 보상을 단조롭게 제어할 수 있다고 분석합니다. 또한 검증기에서 거부된 응답에 잘못된 양의 자기 지도가 붙는 경우를 정확히 보정할 수 있다고 설명합니다. 이는 모델이 틀린 추론을 자신 있게 지지하는 실패 모드를 직접 겨냥합니다.

수학 추론 실험에서 저자들은 FlowBalance가 Qwen3-4B와 Qwen3-8B 모두에서 FlowRL보다 높은 평균 성능을 보였다고 보고합니다. 학습 속도와 안정성도 개선되었고, 직접적인 OPSD에서 나타나는 응답 길이 붕괴를 피했으며, 통제된 AIME24 진단에서는 올바른 전략의 다양성이 더 높았습니다. 제공된 자료에 구체적인 점수는 없으므로, 이 결과는 세부 순위보다 방향성 있는 비교로 이해해야 합니다.

의미와 한계

FlowBalance는 자기개선형 추론 학습에서 신용 할당을 다루는 분명한 원칙을 제시합니다. 검증기가 모델의 자기 피드백을 강화할지, 억제할지, 중단할지를 판단하므로 희소한 결과 보상과 조밀한 자기 지도를 서로 배타적인 선택으로 취급하지 않아도 됩니다. 최종 답을 안정적으로 검증할 수 있는 수학 문제에서 특히 유용한 설계입니다.

다만 이 방법은 충분히 강력한 검증기, 의미 있는 그룹 내 비교, 학습 중 사용할 특권 컨텍스트에 의존합니다. 최종 품질을 정확히 검증하기 어려운 개방형 생성 작업에서도 같은 효과를 낼 수 있는지는 추가 연구가 필요합니다.

출처: Hugging Face Daily Papers