기반 모델 학습을 하나의 알고리즘으로 통합할 수 있을까

들어가며

기반 모델은 대체로 여러 단계에 걸쳐 학습된다. 대규모 사전 학습을 시작으로 중간 학습, 지도 미세 조정(SFT), 강화학습(RL)이 이어지는 방식이다. 단계마다 데이터뿐 아니라 손실 함수, 학습기, 인프라까지 달라지는 경우가 많다. 논문 ‘Training Foundation Models with a Single Algorithm’은 이런 분리가 정말 이론적으로 필요한지 다시 묻는다.

연구의 제안은 모든 학습 목표를 동일하게 만들자는 것이 아니다. 서로 다른 목표를 공통된 최적화 언어로 설명하자는 데 가깝다. 저자들은 특정 강화학습 목표를 모델이 생성한 목표 분포에 대한 최대우도 피팅으로 유도한다. 그 결과 RL을 일반적인 우도 기반 학습과 연결된 형태로 처리할 수 있다는 관점을 제시한다.

하나의 트레이너, 여러 데이터 원천

이 관점에서는 사전 학습, SFT, RL이 반드시 서로 다른 알고리즘일 필요가 없다. 각 단계는 서로 다른 데이터 원천과 목표 분포를 사용하는 동일한 학습 알고리즘의 적용 방식으로 볼 수 있다. 연구진은 정적 데이터와 강화학습으로 생성된 샘플을 하나의 트레이너 안에서 혼합하는 통합 학습 시스템을 구현했다.

기존의 단계적 학습이 사라지는 것은 아니다. 통합된 공간 안에서 특정 데이터 순서와 비율을 선택하는 하나의 특수한 경우로 해석할 수 있기 때문이다. 따라서 설계자가 던져야 할 질문도 달라진다. ‘언제 알고리즘을 바꿀 것인가’보다 다음과 같은 데이터 배분 문제가 중심이 된다.

• 어떤 정적 데이터와 생성 데이터를 사용할 것인가
• 각 데이터 원천에 어느 정도의 비중을 줄 것인가
• 생성 샘플을 학습에 언제 추가할 것인가
• 특정 과제 성능과 일반 능력을 어떻게 함께 유지할 것인가

실험 결과와 의미

논문은 통제된 실험과 실제 환경 실험에서 통합 학습이 정확도와 계산 비용 사이의 균형을 개선했다고 보고한다. 또한 더 넓은 과제 범위를 다루면서 전반적인 능력을 유지했고, 지속 학습을 시작하기 위한 더 나은 기반도 제공했다고 설명한다.

이 접근의 의미는 학습기를 하나로 합치는 데서 끝나지 않는다. 수학적 목적 함수, 학습 인프라, 모델 능력의 형성을 하나의 연구 틀에서 연결할 수 있다는 점이 중요하다. 앞으로 기반 모델 학습에서는 새로운 손실 함수를 고안하는 일뿐 아니라, 서로 다른 데이터 분포를 어떤 비율과 순서로 조합할지 결정하는 일이 핵심 설계 요소가 될 수 있다.

다만 통합 알고리즘이 데이터 품질, 목표 설계, 학습 안정성, 기존 능력의 망각 문제를 자동으로 해결하는 것은 아니다. 실제 결과는 선택한 데이터와 스케줄에 여전히 좌우된다. 그럼에도 이 연구는 고정된 단계별 파이프라인보다 넓은 설계 공간을 제공하고, 다양한 학습 방식을 같은 언어로 비교할 수 있는 수학적·공학적 출발점을 제시한다.

출처: Hugging Face Daily Papers