vLLM, 단일 토큰 생성의 한계를 넘는 병렬 드래프팅 지원

도입

추측 디코딩은 대형 언어 모델을 더 빠르게 서빙하기 위한 핵심 최적화 기법 중 하나로 자리 잡았다. 전용 드래프트 모델이 여러 후보 토큰을 먼저 제안하고, 메인 검증 모델이 이를 한 번의 순전파로 확인하는 방식이다. vLLM Blog가 새로 소개한 내용은 Speculators와 vLLM이 P-EAGLE, DFlash, DSpark라는 세 가지 병렬 드래프팅 알고리즘을 오픈소스로 지원한다는 점이다.

핵심 포인트

• 기존 병목은 드래프트 생성에 남아 있었다. EAGLE과 MTP 같은 방식은 검증 모델의 은닉 상태를 드래프트 모델이 활용하게 해 후보 토큰의 수락률을 높였다. 그러나 EAGLE-3 같은 발전된 방법도 여러 후보를 만들 때는 토큰을 하나씩 순차적으로 생성해야 했다.
• 병렬 드래프팅은 비용 구조를 바꾼다. P-EAGLE, DFlash, DSpark는 모두 한 번의 드래프트 순전파로 후보 토큰 블록 전체를 예측하는 방향을 취한다. 이렇게 되면 드래프트 지연이 후보 길이에 선형적으로 묶이는 정도가 줄고, 더 표현력 있는 드래프트 모델을 사용할 여지도 커진다.
• P-EAGLE은 EAGLE의 아이디어를 병렬화한다. 검증 모델의 은닉 상태를 입력 특징으로 직접 사용하고, 이를 여러 미래 위치에 동시에 매핑한다. 학습에서는 draft block sparsification을 적용해 lookahead 차원의 손실 계산을 줄이며, 가까운 미래 토큰에 더 많은 학습 초점을 둔다.
• DFlash는 KV-cache에 검증 정보를 주입한다. 은닉 상태를 입력 시퀀스에 붙이는 대신, 이를 투영해 드래프트 모델의 KV-cache에 넣는다. 이 방식은 입력 길이를 늘리지 않으면서도 어텐션이 검증 모델 상태에 강하게 조건화되도록 한다. 학습 시에는 sequence length sparsification을 사용해 무작위 앵커 지점에서만 블록 예측 손실을 계산한다.
• DSpark는 보정과 선별을 더한다. DFlash 기반 구조 위에 가벼운 자기회귀 보정 헤드를 추가해 미래 토큰이 이전 토큰과 더 잘 맞도록 돕는다. 또한 신뢰도 헤드를 통해 어떤 후보가 검증에서 수락될 가능성이 높은지 미리 평가하고, 불필요한 검증 계산을 줄이려 한다.

의미와 영향

병렬 드래프팅의 의미는 단순히 더 빠른 추론 가능성에 그치지 않는다. 드래프트 모델을 토큰마다 실행하는 것이 아니라 블록마다 한 번 실행할 수 있다면, 드래프트 모델을 지나치게 작게 제한해야 하는 압박이 줄어든다. 또한 운영팀이 서버 부하와 사용 사례에 따라 추측 길이를 계속 미세 조정해야 하는 부담도 완화될 수 있다.

vLLM Blog는 Qwen3-8B와 P-EAGLE의 수학 추론, Qwen3-30B-A3B와 DFlash의 코딩, gemma-4-31B-it와 DSpark의 코딩 사례를 제시하며 EAGLE-3 대비 개선을 보였다고 설명한다. 다만 실제 성능은 모델, 작업, 하드웨어 구성에 따라 달라질 수 있다고 덧붙인다.

LLM 서빙을 다루는 팀에게 이번 업데이트는 주목할 만하다. 추측 디코딩의 질문이 “작은 모델이 어떻게 더 잘 맞히게 할 것인가”에서 “후보 생성 자체를 어떻게 직렬 구조에서 벗어나게 할 것인가”로 확장되고 있기 때문이다. 더 많은 실제 워크로드에서 안정적인 이점이 확인된다면, 병렬 드래프팅은 고처리량 추론 스택의 중요한 구성 요소가 될 수 있다.

출처: vLLM Blog