HuatuoGPT-3: SFT 없이 강화학습만으로 의료 LLM 적응

들어가며

범용 대규모 언어 모델을 의료 전문 모델로 바꾸는 일반적인 방법은 먼저 지도 미세조정(SFT)을 수행한 뒤 강화학습(RL)으로 응답 품질을 조정하는 것이다. SFT+RL 방식은 초기 출발점을 만들기 쉽지만, 여러 단계의 최적화를 필요로 하고 모델이 시연 데이터를 일찍부터 과도하게 모방해 탐색 다양성을 잃을 수 있다. HuatuoGPT-3는 이 순서를 따르지 않고, 기반 모델에서 출발해 강화학습만으로 의료 영역 적응을 수행하는 방법을 제시한다.

핵심은 One-stage Policy Optimization, 즉 OnePO다. 이 방법은 교사 모델이 만든 답변을 고정된 정답으로 취급하지 않는다. 교사 출력은 정책이 개선되는 동안만 사용하는 임시 안내 신호가 된다.

핵심 내용

• SFT+RL에 대한 대안. SFT는 콜드 스타트를 해결하는 데 유리하지만, 모델을 시연 데이터의 표현과 행동에 빠르게 묶을 수 있다. 반대로 순수 온폴리시 RL은 출발 단계에서 유용한 행동을 거의 갖고 있지 않아 학습 자체가 어려워질 수 있다.
• 두 가지 학습 실패 모드. 혼합 정책 RL에서는 교사 답변에 있는 중요한 토큰이 현재 정책에서 매우 낮은 확률을 가질 수 있다. 이 경우 초반 학습 신호가 충분히 전달되지 않는 현상이 발생하며, 논문은 이를 ‘Gradient Starvation’이라고 부른다. 또 오래된 교사 답변을 계속 사용하면 정책이 낡은 교사 분포에서 벗어나지 못하는 ‘Teacher-Distribution Anchoring’이 나타날 수 있다.
• 목표의 적응과 교사 폐기. OnePO의 Adaptive Objective Evolution은 정보량이 높지만 현재 정책에서 확률이 낮은 교사 토큰을 더 강하게 학습하도록 한다. 동시에 현재 정책이 교사 답변을 넘어서는 시점에는 해당 출력을 제거하는 Teacher Retirement를 적용해 장기적인 모방 제약을 줄인다.
• 제한된 데이터에서의 성능. 논문 초록에 따르면 의료 적응 실험에서 2만 개의 학습 샘플만으로 HealthBench Total 67.2점을 얻었다. 이는 SFT+RL보다 2.7점, 순수 RL보다 7.4점 높은 결과로 보고됐다.
• 오픈 모델 제품군으로 확장. HuatuoGPT-3는 오픈소스 의료 LLM 시리즈로 소개된다. 초록은 27B 모델이 HealthBench Total 70.1점과 HealthBench Professional 71.4점을 기록했으며, GPT-6 Astra를 포함한 프런티어 모델을 앞섰다고 설명한다.

의미와 한계

HuatuoGPT-3의 의미는 새로운 의료 모델을 공개했다는 데만 있지 않다. 전문 분야 적응을 위해 지도 데이터에 계속 의존하는 대신, 교사 행동을 초기 발판으로만 활용하고 정책이 성장하면 이를 넘어서는 학습 구조를 제안했다는 점에 있다. 이 접근은 의료 외에도 법률, 금융, 코드 생성처럼 전문성뿐 아니라 지속적인 탐색이 필요한 분야에 참고가 될 수 있다.

다만 제시된 결과는 특정 의료 벤치마크와 학습 조건에 기반한다. 벤치마크 점수가 실제 임상 환경에서의 진단 정확도나 안전성을 보장하는 것은 아니다. 다양한 모델 규모와 보상 설계, 다른 전문 영역에서 OnePO가 일관되게 재현되는지는 전체 논문과 후속 공개 실험을 통해 확인해야 한다.

출처: Hugging Face Daily Papers