FreeToken, 개인용 PC를 대규모 MoE 추론 플랫폼으로 전환

들어가며

오픈 웨이트 모델의 성능은 빠르게 높아지고 있지만, 이를 서비스하는 방식은 여전히 데이터센터 GPU를 전제로 하는 경우가 많습니다. 개인용 PC에서는 GPU 메모리 용량뿐 아니라 시스템 메모리 대역폭, CPU와 GPU 사이의 데이터 이동, 에이전트가 축적하는 실행 상태가 병목이 될 수 있습니다. FreeToken은 개인용 컴퓨터를 성능이 낮은 GPU로 취급하지 않고, 여러 하드웨어 자원을 런타임에 조합하는 탄력적 추론 플랫폼으로 바라봅니다.

핵심 내용

• MoE 특성에 맞춘 전체 서빙 스택. 모델 배치와 로딩, 전문가 상주, CPU-GPU 실행, 에이전트 상태 재사용, 런타임 메모리 관리까지 하나의 시스템으로 설계합니다.
• 대역폭에 따른 동적 배치. PC마다 GPU 메모리, 시스템 메모리, CPU 성능, 전송 대역폭의 균형이 다릅니다. FreeToken은 CPU와 GPU의 역할을 고정하지 않고, 실제로 사용 가능한 자원에 계산과 모델 상태를 계속 매핑합니다.
• 변화하는 에이전트 작업을 고려. 코딩 에이전트와 도구 사용 에이전트는 세션 중 실행 패턴이 달라질 수 있습니다. 이에 따라 전문가 접근과 상태 요구도 변할 수 있으며, FreeToken은 이를 런타임 문제로 다루고 상태 재사용을 지원합니다.
• 로컬 실행 범위 확대. 8GB GPU 노트북부터 단일 워크스테이션 GPU까지 20개 이상의 MoE 모델을 지원합니다. 논문이 제시한 사례에는 노트북의 35B 모델, 게이밍 데스크톱의 284B 모델, 단일 워크스테이션 GPU의 753B GLM-5.2가 포함됩니다.

의미와 영향

FreeToken의 핵심은 단순히 작은 장치에 더 큰 모델을 넣는 데 있지 않습니다. 모델 전체를 GPU 메모리에 상주시킬 수 없다면 어떤 전문가를 남겨둘지, 어떤 상태를 재사용할지, CPU와 다른 메모리 자원을 언제 실행에 참여시킬지를 결정해야 합니다. MoE는 토큰마다 일부 전문가만 활성화하지만, 전문가 가중치를 이동하는 비용은 여전히 응답 속도를 좌우할 수 있습니다. 따라서 고정된 분할보다 실행 중 자원 배치가 중요해질 수 있습니다.

이 접근은 오픈 웨이트 모델을 “다운로드할 수 있는 모델”에서 “로컬에 배포할 수 있는 소프트웨어”로 확장하는 데 의미가 있습니다. 다만 제공된 자료에는 동일 조건에서 측정한 처리량, 첫 토큰 지연시간, 생성 속도, 전력 소비 비교가 없습니다. 따라서 제시된 모델 규모는 모든 개인용 PC에서 보장되는 성능이라기보다 시스템이 겨냥하는 서빙 범위를 보여주는 사례로 해석해야 합니다. 실제 결과는 모델과 하드웨어 구성, 작업 유형에 따라 달라질 수 있습니다.

출처: Hugging Face Daily Papers