아티클 목록으로

vLLM, Inkling 2 Mini 출시 첫날 지원…루프형 추론 방식은

약 3분 소요

개요

Thinking Machines가 Inkling 2 Mini를 발표한 날, vLLM은 NVIDIA Blackwell, Hopper, DGX Spark에서 사용할 수 있는 지원을 공개했다. 이 모델의 핵심은 단순히 규모가 아니라 중간 계층 일부를 같은 가중치로 반복 실행하고, 실행 사이에 게이트가 적용된 메시지를 전달하는 구조다. 따라서 추론 과정에서 여러 패스의 계산과 캐시를 관리해야 하며, 한 번의 순방향 실행을 전제로 한 일반적인 모델과는 다른 대응이 필요하다.

핵심 내용

  • 중간 계층의 3회 반복. 전체 24개 계층 중 앞의 6개는 프렐류드, 뒤의 6개는 코다이며 가운데 12개 계층이 세 번 실행된다. 세 패스는 가중치를 공유하지만 KV 캐시와 컨볼루션 상태는 각각 따로 보관한다. 이후 패스는 프렐류드 출력을 출발점으로 삼고, 앞선 패스에서 읽은 메시지를 학습된 제어기로 각 하위 계층 입력에 반영한다.
  • 멀티모달 MoE와 DSpark. 총 매개변수는 260억 개, 활성 매개변수는 35억 개이며 최대 100만 토큰 컨텍스트를 지원한다. 비전 인코더와 네이티브 DSpark 투기적 디코더도 포함한다. vLLM은 Inkling 2 Small의 융합 커널을 재사용하고 메시지 읽기, 제어기 연산, 게이트 병합과 정규화를 융합해 루프 구조에서 발생하는 추가 작업을 줄인다.
  • 연구 체크포인트의 조정 옵션. TML-d24-varloop-research에서는 실행 시 패스 수와 패스 간 KV 캐시 공유 여부를 지정할 수 있다. 패스가 적으면 더 빠르고, 많으면 품질이 높아질 수 있다. 캐시를 공유하면 후속 패스가 해당 토큰의 캐시를 덮어쓰지만 컨볼루션 상태는 패스별로 유지된다. 고정 루프 버전에서는 이 설정을 사용할 수 없고, DSpark도 기본 패스 수를 요구한다.

성능과 시사점

vLLM이 공개한 측정은 GB200 한 대, TP1, 4K 컨텍스트에서 순방향 계산만 수행한 결과다. 1패스의 디코드 단계 지연 시간은 배치 1에서 1.51ms, 배치 32에서 3.81ms였다. 3패스에서는 각각 3.85ms와 8.11ms로 늘었다. KV 캐시 용량은 1패스의 35만 2천 토큰에서 3패스의 17만 5천 토큰으로 줄었다. 3패스에서 캐시를 공유하면 지연 시간은 비슷하고 용량은 19만 4천 토큰이었다. 특정 하드웨어와 조건에서 나온 수치이므로 다른 환경의 성능을 보장하지는 않는다.

정확도와 관련해 vLLM은 참조 구현과 동일한 데이터 유형, 양자화 및 FP32 메시지 병합 방식을 유지했으며 주된 차이는 연산 축약 순서라고 설명한다. 동일한 입력에서 MoE 출력은 비트 단위로 일치했다. 평가는 100만 토큰까지의 needle-in-a-haystack, MMMU-Pro, HLE, GSM8K를 포함했다. 이번 지원의 의미는 루프형 모델의 각 패스를 일반적인 캐시 계층처럼 다루고, 커널 융합으로 추가 비용을 억제하는 방법을 보여준다는 데 있다. 실제 배포에서는 작업 특성에 맞춰 패스 수와 캐시 용량을 조정해야 한다. SkyRL을 이용한 강화학습 서빙도 지원한다.

출처: vLLM Blog

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
TIDEWAY, 소비자용 PC의 MoE 추론 메모리 관리 개선
추론·배포
cctest.ai
추론·배포

TIDEWAY, 소비자용 PC의 MoE 추론 메모리 관리 개선

TIDEWAY는 메모리가 제한된 소비자용 기기에서 대규모 MoE 모델을 실행하기 위해 호스트 RAM과 GPU VRAM을 함께 관리합니다. 프리필과 디코드 단계에 맞춰 메모리 배치를 조정하며, 논문은 가장 빠른 기준 시스템보다 높은 성능을 보고했습니다.

더 보기