Miles v0.1, 프런티어 모델 후훈련을 위한 운영级 인프라

들어가며

대규모 언어 모델의 강화학습 후훈련은 알고리즘만으로 완성되지 않는다. 롤아웃을 안정적으로 생성하고, 이를 학습기에 전달하며, 업데이트된 가중치를 여러 서비스 사이에서 동기화해야 한다. 또한 서로 다른 하드웨어 토폴로지에서도 처리 흐름을 유지해야 한다. RadixArk의 Miles v0.1은 이 전체 과정을 하나의 생산级 오픈소스 시스템으로 다루려는 프로젝트다.

핵심 내용

• 전체 후훈련 루프를 구성한다. 롤아웃 엔진은 SGLang을 기반으로 하며, 학습기는 NVIDIA Megatron-LM과 PyTorch FSDP 중에서 선택할 수 있다.
• 동기화 방식을 여러 개 제공한다. 세 가지 가중치 동기화 전송 방식을 지원해 배포 구조와 계산 토폴로지에 맞는 구성을 선택할 수 있도록 했다.
• 여러 후훈련 방식을 포괄한다. 전체 파라미터 RL뿐 아니라 LoRA RL, 온폴리시 증류, 지도 미세조정, 롤아웃과 학습의 정렬을 중시하는 진정한 온폴리시 방식도 지원한다.
• 언어 모델 밖으로 확장된다. 보고서에 따르면 동일한 설계를 확산 모델에도 적용했다. 특정 알고리즘보다 재사용 가능한 후훈련 구조를 지향하는 셈이다.

보고된 사례

보고서는 터미널 사용 코딩 과제에서 완전 비동기 에이전트 RL을 수행한 사례를 제시한다. GLM-5.2 744B-A40B 모델을 64개의 NVIDIA GB300 GPU에서 학습했으며, 처음 측정한 30개 스텝의 중앙값 스텝 시간은 263초였다.

이 사례에서 주목할 부분은 숫자 하나보다 시스템 구성이다. 롤아웃 생성과 모델 학습을 비동기적으로 진행하면서 대규모 모델과 도구 사용형 작업을 하나의 학습 파이프라인에 연결했다. 다만 제공된 자료에는 다른 프레임워크와의 비교, 비용 분석, 코딩 과제 성능 향상 수치가 없다. 따라서 이 결과만으로 Miles의 절대적인 속도나 품질 우위를 결론 내릴 수는 없다.

의미와 남은 과제

Miles는 생산 환경에서 중요한 질문을 구조적으로 드러낸다. 각 구성 요소를 검증할 수 있는가, 인터페이스가 깔끔하게 유지되는가, 학습 백엔드와 동기화 방식을 교체할 수 있는가가 그것이다. 연구팀에는 실험 변화에 따른 인프라 재작성 부담을 줄일 가능성이 있고, 기업에는 프로토타입에서 지속적인 후훈련 서비스로 넘어갈 때의 선택지가 될 수 있다.

그러나 오픈소스 시스템의 실제 가치는 문서, 테스트, 하드웨어 호환성, 커뮤니티 유지에 달려 있다. 현재 자료만 놓고 보면 Miles는 모든 환경에서 검증된 정답이라기보다, 프런티어 후훈련에 적용해 볼 만한 인프라 후보로 평가하는 편이 타당하다.

Hugging Face Daily Papers