합성 재작성의 스케일링 법칙, 최적 데이터 비율을 계산하다

서론

대규모 언어 모델의 사전학습에서는 자연 문서를 특정 문체나 형식으로 바꾸는 ‘합성 재작성’이 점점 일반적인 방법이 되고 있다. 이렇게 생성한 텍스트를 학습 코퍼스에 섞으면 목표 분포에 맞게 데이터를 조정할 수 있다.

하지만 중요한 실무 질문은 여전히 남아 있다. 재작성 데이터를 만들기 위해 어느 정도의 연산량을 투자해야 하는가? 그리고 재작성 모델이 생성한 데이터로 학습한 모델이 원래의 재작성 모델보다 더 뛰어날 수 있는가? arXiv 논문 「Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints」는 이 문제를 스케일링 법칙의 관점에서 분석했다.

연구가 제안한 방법

연구진은 최종 손실을 다음 요소의 함수로 예측하는 재작성 스케일링 법칙을 제시했다.

• 목표 모델의 규모
• 학습 토큰 수
• 전체 학습 토큰 중 재작성 토큰의 비율
• 자연 데이터에 적용하는 학습 에포크 수
• 재작성 데이터를 생성하는 데 필요한 연산량

핵심은 합성 데이터 생성 비용을 학습 비용에 포함했다는 점이다. 합성 토큰은 이미 존재하는 무료 데이터가 아니다. 생성 과정에는 추론 연산이 필요하므로, 자연 데이터로 학습할 때 드는 비용과 함께 전체 예산 안에서 비교해야 한다. 따라서 연구의 목표는 단순히 좋은 데이터 혼합 비율을 찾는 것이 아니라, 생성과 학습을 합친 최적의 자원 배분을 찾는 데 있다.

연산량 제한 설정에서는 자연 데이터가 충분하다고 가정하고, 가장 큰 실험보다 더 많은 연산으로 학습된 제3자 재작성 모델이 데이터를 생성한다. 이때 최적 재작성 비율은 예산이 커질수록 높아졌다. 약 3×10^18 FLOPs에서는 10% 미만이었지만, 10^22 FLOPs에서는 32%에 이르렀다.

연구진은 이 법칙을 220억 파라미터 모델로 외삽했다. 학습 FLOPs를 33배 늘린 실험에서 실제 최종 손실은 예측값과 1.1% 이내의 차이를 보였다. 또한 여러 웹 도메인에서 목표 모델은 재작성 모델보다 더 나은 BPB를 기록했으며, 학습에 사용한 연산량은 재작성 모델의 10분의 1이었다. 이는 데이터를 생성한 모델의 성능이 학습 모델의 절대적인 상한선은 아닐 수 있음을 보여준다.

데이터가 부족한 환경에서는

두 번째 설정에서는 사용할 수 있는 자연 데이터가 고정된 시드 데이터셋뿐이라고 가정한다. 재작성 모델은 목표 모델과 같은 크기이며, 같은 시드 데이터로 사전학습된다. 이 조건에서도 연산 예산이 늘어날수록 최적 재작성 비율은 증가했다.

또한 같은 크기의 재작성 모델이 자신의 사전학습 데이터를 재작성해 만든 데이터로 학습한 모델은, 30억 파라미터까지의 모든 테스트 규모에서 자연 데이터만 사용한 최선의 실행보다 좋은 결과를 냈다고 보고됐다. 이는 합성 데이터가 항상 유효하다는 뜻은 아니지만, 적절한 재작성 과정이 목표 모델에 더 유리한 학습 분포를 만들 수 있음을 시사한다.

의미와 한계

실무적으로 가장 중요한 메시지는 합성 재작성을 단순한 데이터 확장으로 보지 말아야 한다는 것이다. 예산이 작을 때는 생성 비용이 커서 높은 재작성 비율이 비효율적일 수 있다. 반대로 전체 학습 연산량이 충분히 커지면 합성 데이터에 더 많은 예산을 배정하는 선택이 유리해질 가능성이 있다.

이번 연구는 교사 모델보다 학생 모델이 강해질 수 없다는 단순한 직관에도 의문을 제기한다. 재작성은 원래 데이터의 분포를 목표에 맞게 바꾸며, 모델이 생성 모델 자체의 평가 성능에는 드러나지 않는 학습 신호를 활용하게 할 수 있다.

다만 제공된 자료는 논문 요약 중심이므로, 이 법칙이 다양한 과제, 프롬프트, 모델 구조와 데이터 품질에 얼마나 일반화되는지는 아직 알 수 없다. 중복 데이터, 편향 증폭, 사실 오류 누적도 별도로 검증해야 한다. 현재로서는 합성 재작성을 무료 데이터 확보가 아니라 데이터 품질과 생성 비용, 학습 연산량을 함께 최적화하는 문제로 이해하는 것이 가장 신중하다.

출처: arXiv