Puro-2B, RTX 5090으로 약 5090달러에 2B 모델 사전학습

배경

언어 모델 사전학습은 막대한 컴퓨팅 비용 때문에 소규모 연구실과 오픈소스 개발자에게 여전히 높은 장벽입니다. 칭화대 PACMAN Group이 공개한 Puro-2B는 소비자용 GPU만으로 약 2B 파라미터 모델을 처음부터 학습할 수 있는지 검증하는 프로젝트입니다. 핵심은 모델 가중치뿐 아니라 비용을 낮추는 전체 학습 과정을 공개하는 데 있습니다.

핵심 내용

• 소비자용 GPU 활용. RTX 5090을 사용하고 FP8 저정밀 학습을 적용해 계산량과 메모리 부담을 줄입니다.
• 처음부터 사전학습. 토큰 예산과 레시피가 다른 Puro-2B 모델군을 구성했으며, 최대 학습량은 1조4000억 토큰입니다.
• 여러 기법의 조합. 효율화에는 하드웨어 선택, FP8, Hyperball 최적화, 커리큘럼 기반 모델 평균화, 데이터 구성 방식이 함께 사용됐습니다.
• 비용-성능 관계 분석. 최고 모델의 계산 비용은 6900달러 미만이며, 연구진의 평가 프로토콜에서 Qwen2.5-1.5B에 근접했습니다. 모델군을 바탕으로 만든 Puro Cost Scaling Law는 약 4400달러로 Qwen2-1.5B의 평균 성능에 도달할 가능성을 제시합니다.
• 전체 결과물 공개. 데이터, 코드, 모델 가중치를 Apache 2.0 라이선스로 공개합니다.

의미와 한계

Puro-2B가 소비자용 GPU가 대규모 클러스터를 대체한다고 말하는 것은 아닙니다. 이 연구의 의미는 정밀도, 최적화, 모델 평균화, 데이터 준비를 재현 가능한 하나의 사전학습 레시피로 묶었다는 데 있습니다. 기존 오픈 모델 프로젝트는 가중치나 프레임워크를 공개하더라도 데이터 선정과 학습 안정화 과정까지 재현하기 어려운 경우가 많았습니다. Puro-2B는 이 과정을 더 검증 가능하게 만들려는 시도입니다.

비용 스케일링 분석은 예산에 따른 성능 변화를 생각할 수 있게 해줍니다. 다만 4400달러는 해당 모델군과 평가 방식에 맞춘 추정치이지, 모든 환경에 적용되는 보장은 아닙니다. 전기료, GPU 구매 또는 임대 가격, 데이터 품질, 엔지니어링 인력, 평가 범위에 따라 실제 비용과 결과는 달라질 수 있습니다.

연구진은 사전학습 데이터의 커리큘럼이 후학습 이후의 다운스트림 성능에 미치는 영향도 살펴봅니다. 전체 파이프라인을 직접 통제할 수 있기 때문에, 완성된 가중치만 비교할 때는 어려운 통제 실험이 가능합니다. 오픈소스 생태계에서는 단일 벤치마크 점수보다 이런 재현 가능하고 분해 가능한 학습 사례가 장기적으로 더 큰 도움이 될 수 있습니다.

출처: Hugging Face Daily Papers