Specter, 양자화 예측으로 단일 GPU MoE 추론 가속

Mixture-of-experts(MoE) 모델은 토큰마다 일부 전문가만 활성화하지만, 전체 전문가 집합의 파라미터 규모는 매우 클 수 있습니다. 이 때문에 모든 전문가를 하나의 GPU 메모리에 올리지 못하는 경우가 생깁니다. 일반적인 해결책은 일부 전문가를 호스트 메모리에 두고 필요할 때 GPU로 가져오는 것입니다. 하지만 전문가 선택은 입력에 따라 달라지는 라우팅 결과에 의존합니다. 런타임이 현재 라우팅을 계산할 때까지 전송을 시작하기 어렵고, PCIe 데이터 이동이 토큰 생성의 핵심 경로에 들어가 지연을 키우게 됩니다.

Specter는 추측 디코딩의 활용 범위를 넓힙니다. 기존 추측 디코딩이 검증 계산을 줄이는 데 주로 초점을 맞췄다면, Specter는 양자화한 경량 초안 모델로 미래의 전문가 사용을 예측합니다. 디바이스에서 초안 모델이 몇 단계 앞의 전문가 활성화 패턴을 추정하면, 런타임은 해당 전문가를 호스트 메모리에서 미리 이동시키고 실행 순서를 조정할 수 있습니다. 예측이 충분히 정확할 경우, 전문가 전송과 실제 모델 계산을 겹쳐 PCIe 대기 시간을 숨길 수 있습니다.

핵심 내용은 다음과 같습니다.

• 양자화로 예측 비용을 낮춤: 초안 모델을 작고 빠르게 만들어 제한된 디바이스 메모리에서도 실행할 수 있도록 합니다.
• 여러 단계 앞에서 프리페치: 현재 라우팅 결과가 나온 뒤에만 전송하는 대신, 미래 단계의 전문가 사용을 바탕으로 이동을 미리 계획합니다.
• 전문가 활성화 패턴의 정확도가 중요: 예측이 틀리면 프리페치 효과가 떨어질 수 있지만, 제공된 자료에는 오류율이나 오예측의 비용이 제시되지 않았습니다.
• 메모리 제약 환경을 목표로 함: 단일 GPU에서 모델 전체가 메모리에 들어가지 않는 상황에서도 MoE 추론을 실용적으로 만드는 것이 목적입니다.

논문 초록에 따르면 단일 요청 추론에서 Specter는 기존 최첨단 시스템 대비 출력 토큰당 시간(TPOT)을 평균 1.50배, 최대 1.88배 개선했습니다. 이는 MoE 오프로딩이 단순히 메모리 용량을 늘리는 문제가 아니라, 전송 시점을 어떻게 잡고 계산과 겹칠 것인지에 관한 스케줄링 문제라는 점을 보여줍니다. 다음에 어떤 전문가가 필요할지 미리 알 수 있다면 PCIe 통신을 계산 뒤로 숨길 여지가 생깁니다.

다만 현재 소재만으로는 전문가 예측 정확도, 오예측이 성능에 미치는 영향, PCIe 구성과 호스트 메모리 종류별 차이를 확인할 수 없습니다. 여러 요청이 동시에 들어올 때 캐시와 전송 대역폭이 어떻게 경쟁하는지도 추가 검증이 필요합니다. 일반적인 데스크톱 DDR4 환경에서의 효과 역시 제공된 정보만으로는 판단하기 어렵습니다. 그럼에도 Specter는 MoE 실행을 ‘라우팅 후 전송’에서 ‘예측 후 준비’로 전환해, 단일 가속기에서 대형 모델을 다루는 새로운 시스템 최적화 방향을 제시합니다.

출처: Hugging Face Daily Papers