추론·배포

DoubtLess는 추가 학습 없이 대형 추론 모델의 사고 사슬을 짧게 만드는 대조 디코딩 기법입니다. 보고된 실험에서 Qwen3-32B의 사고 토큰을 정확도 변화 없이 31% 줄였습니다.

Jeva는 후보 선택을 단순한 텍스트 생성 문제로 바꾸는 대신 의사결정의 구조를 모델에 직접 반영한다. 정답 없음 감지, 후보 순서 불변성, 가변 후보 집합, 계산 재사용을 하나의 설계에서 다룬다.

DoSA는 후보의 전체 점수를 계산하기 전에 Top-K에 들어갈 수 없는 후보를 상한으로 제거합니다. 최종 토큰 선택의 정확성을 유지하면서 인덱서와 선택 단계의 비용을 줄이는 방식입니다.

Elastic Latent Recurrence(ELR)는 같은 언어 모델을 적은 루프에서는 빠르게, 많은 루프에서는 더 높은 품질로 실행하도록 만드는 학습 방법입니다. 기존 순환형 모델의 ‘1회 루프 성능 손실’을 줄이는 것이 핵심입니다.

vLLM이 Prefill-Decode 분리 구조에 양방향 KV 전송을 도입해, 다음 대화 턴에서 Prefill 노드가 Decode 노드에 남아 있는 컨텍스트를 재사용할 수 있게 됐다. 보고된 장문 멀티턴 벤치마크에서 TTFT는 최대 3.3배 개선됐다.

VLA 가속은 평균 지연 시간과 성공률만으로 평가하기 어렵습니다. CARE는 원래 정책이 성공했을 작업을 가속 정책이 놓치는 위험을 측정하고, 위험 예산을 만족하는 가장 빠른 후보를 선택합니다.

SparseEngine은 서로 다른 KV 캐시 방식을 장문맥 LLM 에이전트의 서빙 환경에 통합하기 위해 설계된 희소 우선 추론 엔진입니다. 논문은 처리량과 디코딩 속도 향상뿐 아니라 요청 간 캐시 상태를 이어가는 방법도 제시합니다.

TokenRouter는 생성 과정에서 토큰마다 다른 모델을 선택하는 LLM 라우팅을 위한 서빙 시스템입니다. 비동기 모델 서브서버와 지연 배칭으로 실행 단계 불일치와 배치 대기 문제를 줄이는 것을 목표로 합니다.

SparseDecoding은 자연어 기반 보정 데이터와 실제 생성 과정의 활성 분포가 다르다는 문제를 해결하기 위해 제안됐다. 생성 중 수집한 활성값과 N:M 희소 SpMV 커널을 활용해 A100에서 최대 1.48배의 종단 간 디코딩 가속을 보고했다.

PersonTTS는 테스트 타임 스케일링을 단일한 정확도·효율성 최적화가 아니라, 사용자별 요구를 함께 만족하는 실행 가능한 제어기 탐색 문제로 재정의한다. 과거 사용자 프로필에서 얻은 탐색 경험을 재사용해 새로운 요구에 대한 정책 발견 비용을 낮춘다.

DLoop는 드래프트 모델이 충분한 확신을 유지하는 동안 여러 드래프트 단계를 연속 수행한 뒤 후보 토큰을 한 번에 검증합니다. 타깃 모델의 순전파 횟수를 줄이며 여러 추측 디코딩 방식에서 5~41%의 벽시계 시간 향상을 보고했습니다.

SlimWise는 MoE 추론에서 프리필은 전체 모델로 수행하고, 디코딩 단계에서만 전문가 풀을 가지치기하는 방식을 제안합니다. 전체 모델이 만든 KV 캐시를 변환 없이 재사용해 Qwen3.6-35B-A3B에서 전문가 50% 제거 시 최대 1.81배의 디코딩 처리량을 달성했습니다.

RouteFM은 LLM 라우팅을 특정 환경에 맞춘 반복 학습이 아니라 재사용 가능한 기반 능력으로 바라본다. 익명 후보 모델의 제한된 행동 증거를 분석해 새로운 작업, 모델 풀, 모달리티에 적응한다.

PyTorch는 Helion을 vLLM의 linear backend에 통합해 고수준 커널 DSL과 입력 형상별 자동 튜닝으로 양자화 GEMM 구현을 단순화하는 방안을 검토했습니다. NVIDIA Hopper에서는 평가된 일부 워크로드에서 처리량이 10% 이상 향상됐습니다.

MassAlloc Attention(MALA)은 합법적인 인과적 QK 상호작용에 대한 접근은 유지하면서, 정규화된 어텐션 기여도를 기준으로 영향이 작은 영역의 후속 계산을 줄인다. FullAttn에 가까운 품질을 유지하면서 긴 컨텍스트의 계산을 적응적으로 절감하는 방식이다.

루프형 언어 모델은 가중치를 공유하는 블록을 반복 실행해 유효 깊이를 높이지만, 토큰마다 반복 블록을 순차 호출해야 해 디코딩 지연이 커집니다. Wavefront Decoding은 중간 상태를 초안 예측에 활용하고 서로 다른 위치와 반복 깊이의 계산을 파형 형태로 배치합니다.

KAIST AI 연구는 자기 성찰을 오래 수행해도 소형 추론 모델이 도달할 수 있는 해답의 범위가 반드시 넓어지지는 않는다고 분석했다. FlyBy는 지식 부족이 감지될 때만 더 강한 모델에 질의한다.

Disaggregated Quantization(DQ)은 LLM 추론의 Prefill과 Decode에 서로 다른 계산 형식, 가중치, 저장 전략을 적용합니다. 저비트 추론의 효율을 유지하면서 긴 프롬프트 처리 속도와 생성 정확도를 함께 개선하는 것이 목표입니다.

HybridInfer는 실제 안드로이드 기기에서 온디바이스·엣지·클라우드 LLM을 동적으로 선택하는 강화학습 라우터입니다. 모바일 추론의 문제는 단순한 속도 저하가 아니라, 연속 생성으로 인한 런타임 불안정일 수 있다고 지적합니다.

RAZOR는 추가 학습 없이 MoE 모델의 전문가를 줄이는 방법입니다. 단순한 사용 빈도나 출력 크기가 아니라, 남은 전문가가 제거된 전문가의 기능을 대신할 수 있는지를 평가합니다.

새로운 arXiv 논문은 손실을 허용하는 추측 디코딩을 형식화하고, 타깃 모델과의 분포 차이를 통제하면 속도뿐 아니라 품질도 개선될 수 있는 이유를 분석한다. 연구진은 부스팅 이론과 f-divergence를 활용해 이 현상을 설명한다.