SpecPilot, 추측 디코딩 최적화를 에이전트로 자동 발견

추측 디코딩이 항상 이론만큼 빠르지 않은 이유

추측 디코딩은 가벼운 드래프터가 여러 토큰을 먼저 제안하고, 대형 대상 모델이 이를 한 번에 검증하는 방식입니다. 대형 언어 모델의 생성이 메모리 대역폭에 제한될 때, 대상 모델이 한 번의 순전파에서 여러 토큰을 처리할 수 있다는 점이 핵심 장점입니다. 그러나 병렬 초안 작성이 가능하다는 사실만으로 실제 서비스의 성능이 자동으로 높아지지는 않습니다.

단일 요청에서는 대상 모델이 전체 가중치를 읽으면서도 실제로 받아들이는 토큰은 적을 수 있습니다. 배치 환경에서는 요청별 검증 작업이 늘어나 자기회귀 디코딩 대비 이점이 줄어듭니다. 또한 최적의 구현은 대상 모델, 드래프터, GPU, 트래픽 패턴과 서비스 방식에 따라 달라집니다. 따라서 모든 환경에 적용할 수 있는 하나의 최적화 규칙을 만들기 어렵습니다.

배포별 탐색을 수행하는 SpecPilot

SpecPilot은 고정된 최적화 조합 대신, 환경에 맞는 해법을 반복적으로 찾는 자율 에이전트 루프를 제안합니다. 각 라운드에서 비용 모델은 현재 시스템이 달성 가능한 성능 상한에서 가장 크게 뒤처지는 지점을 추정합니다. 이후 여러 에이전트가 알고리즘과 시스템 최적화 방향을 병렬로 탐색하고, 검증된 성공 사례를 다음 라운드에 통합합니다.

주요 구성은 다음과 같습니다.

• 비용 기반 탐색: 가중치 이동, 토큰 검증, 배치 처리 등 실제 배포에서 가장 큰 비용을 우선 공략합니다.
• Token forcing 검증: 모든 출력 토큰을 stock 구현과 비교해, 출력 분포를 바꾸고 속도만 높이는 보상 해킹을 탐지합니다.
• 구조화된 메모리: 검증된 메커니즘을 기록하고 새로운 라운드와 배포 조합에 재사용합니다.
• 알고리즘과 시스템의 공동 최적화: 검증 알고리즘뿐 아니라 가중치 표현과 요청 배치 방식까지 탐색합니다.

논문에서 보고한 발견에는 일반적인 무손실 12비트 가중치 형식, 하이브리드 순환형 대상 모델을 위한 트리 검증, 2단계 검증, 세 가지 배치 메커니즘이 포함됩니다. 이는 추측 디코딩의 성능이 드래프터의 예측 능력만으로 결정되지 않으며, 검증 경로와 메모리 접근 구조도 중요한 변수라는 점을 보여줍니다.

실험 결과와 시사점

평가는 네 개의 대상 모델, 세 개의 드래프터, 두 개의 GPU 플랫폼, 다섯 개의 벤치마크에서 진행됐습니다. 단일 요청에서는 자기회귀 디코딩 대비 가속도가 stock 시스템의 4.46배에서 10.87배로 향상됐습니다. 배치 환경에서는 1.94배에서 3.93배로 개선됐습니다. 저자들은 추가 학습이나 품질 저하 없이 이러한 결과를 얻었다고 설명합니다.

SpecPilot의 더 큰 의미는 추론 최적화를 한 번 정해두는 설계 문제가 아니라, 배포 조건에 따라 반복적으로 탐색할 수 있는 문제로 바꿨다는 데 있습니다. 모델과 하드웨어, 드래프터, 요청 패턴이 달라지면 최적의 해법도 달라질 수 있습니다. 다만 보고된 수치는 특정 환경의 결과이므로, 실제 도입 전에는 자체 모델과 트래픽에서 별도 검증해야 합니다.

출처: Hugging Face Daily Papers