vLLM, TML Inkling 출시 당일 지원: 1T 멀티모달 모델 서빙 최적화

들어가며

vLLM은 공식 블로그를 통해 TML Inkling을 출시 당일 지원한다고 발표했다. TML Inkling은 Thinking Machines Lab이 훈련한 1T 파라미터급 멀티모달 모델로, 텍스트와 이미지, 오디오 입력을 받아 텍스트를 생성한다. 이번 발표의 핵심은 단순히 새 모델을 실행할 수 있다는 점이 아니라, 긴 컨텍스트와 MoE, 상대적 어텐션, short convolution, MTP 기반 추측 디코딩을 모두 서빙 프레임워크 안에 최적화해 넣었다는 점이다.

vLLM은 thinkingmachines/Inkling-NVFP4와 BF16 버전인 thinkingmachines/Inkling을 모두 지원한다고 밝혔다. 현재 지원 대상 하드웨어는 NVIDIA Blackwell 및 Hopper GPU이며, 더 넓은 하드웨어 지원은 진행 중이다.

핵심 포인트

• 멀티모달 입력과 텍스트 출력: Inkling은 텍스트, 이미지, 오디오 입력을 처리하고 텍스트를 생성하는 decoder-only Transformer 구조를 사용한다.
• 최대 1M 토큰 컨텍스트: 66개 레이어 중 11개는 full attention, 55개는 sliding-window attention으로 구성되어 장문 컨텍스트를 효율적으로 처리한다.
• RoPE 대신 상대적 어텐션: 위치 정보를 표현하기 위해 RoPE가 아니라 학습된 상대 위치 항을 attention logits에 더하는 방식을 사용한다.
• short convolution 최적화: 각 레이어는 window size 4의 short convolution을 attention key, value, output, MoE output에 적용한다. vLLM은 이를 가상의 sliding-window attention KV cache처럼 관리해 prefix caching과 함께 동작하도록 했다.
• expert sink가 포함된 MoE: 각 레이어는 256개의 routed expert와 top-6 선택, 그리고 2개의 shared expert를 가진다. shared expert는 라우팅 점수 계산에는 참여하지만 top-6 후보에서는 제외된다.
• MTP로 추론 속도 향상: Inkling은 8개의 MTP heads를 포함하며, 한 번의 forward step에서 최대 9개 토큰을 생성할 수 있다. vLLM은 draft token이 거절될 때 발생하는 KV cache 불일치 문제를 재계산 방식으로 처리한다.

성능과 검증

vLLM에 따르면 4개의 NVIDIA GB200 GPU에서 MTP8을 활성화했을 때 최대 380 tokens/s/user를 달성했으며, 평균 acceptance length는 4.5였다. MTP를 사용하지 않은 경우 성능은 140 tokens/s/user로 제시됐다. 측정은 SPEED-Bench에서 가져온 8K 입력 프롬프트와 요청당 1K 출력 토큰 생성 조건에서 이뤄졌다.

정확성 검증도 여러 영역에서 진행됐다. 오디오는 MMAU, 비전은 MMMU-Pro, 도구 호출은 BFCL, 추론은 HLE, 장문 컨텍스트는 NIAH를 사용했다. vLLM은 장문 컨텍스트에서 221K 토큰까지 참조 구현과 완전히 일치했고, 513K 토큰까지는 약 1%포인트 이내 차이를 보였다고 설명했다. 다만 800K 이상처럼 극단적으로 긴 컨텍스트에서는 실행 간 변동성이 더 높게 나타났다고 밝혔다.

의미와 영향

이번 통합은 추론 서빙 프레임워크의 역할이 빠르게 복잡해지고 있음을 보여준다. 최신 대형 모델은 단순한 weight 로딩만으로는 충분하지 않으며, 모델 고유의 어텐션 방식, 캐시 구조, 통신 패턴, 병렬화, 양자화, 추측 디코딩을 함께 최적화해야 한다.

개발자 입장에서는 LoRA, TP/DP/EP/PP 병렬화, prefix caching, disaggregated serving 같은 기능을 유지하면서 1T급 멀티모달 모델을 배포 가능한 형태로 다룰 수 있다는 점이 중요하다. 모델 개발사 입장에서도 Day-0 지원은 모델 공개와 추론 생태계 사이의 협력이 더 긴밀해지고 있음을 보여주는 신호다.

출처: vLLM Blog