오픈소스 프로젝트 Colibrì는 MoE 모델의 전문가 가중치를 NVMe SSD에 저장하고, 현재 필요한 부분만 RAM이나 VRAM으로 불러옵니다. 메모리 장벽은 낮추지만 SSD 대역폭과 캐시 적중률이 속도를 좌우합니다.
더 보기Inferact의 테스트에서 16개의 TPU v7 Ironwood는 Kimi K3에서 초당 709토큰을 기록해 같은 수의 GB200보다 57% 빨랐습니다. 핵심은 TPU 전용 Megakernel과 DSpark 추측 디코딩입니다.
더 보기Flash-dLLM은 확산형 대규모 언어 모델에서 반복되는 KV 캐시 메모리 이동을 줄이고 병렬 디코딩을 효율화하는 학습 불필요 프레임워크입니다. 별도의 초안 모델 없이 동일한 dLLM이 후보 생성과 검증을 모두 수행합니다.
더 보기vLLM이 최신 GPU에 맞춘 플랫 모델을 확대하는 동시에 구형 GPU와 외부 가속기를 지원하기 위한 하드웨어 비종속 레이어를 구축합니다. H100에서는 최근 3개 모델의 기하평균 기준 총 토큰 처리량이 네이티브 구현과 3.4% 이내의 차이를 보였습니다.
더 보기SiliconBench는 Apple Silicon용 LLM 서빙 엔진 9종을 속도, 메모리, 출력 충실도라는 세 기준으로 평가했다. 동시 요청 환경에서는 처리량뿐 아니라 메모리 여유, 모델 지원 범위, 노드 간 통신 방식도 실용성을 결정한다.
더 보기vLLM이 GB300 NVL72에서 Qwen3.8-2.4T를 Prefill-Decode 분리 방식으로 서비스한 결과와 조정 과정을 공개했습니다. 높은 처리량과 낮은 지연시간을 모두 겨냥한 성능 프런티어가 핵심입니다.
더 보기지푸는 GLM-5.3-Flash가 자신을 구동하는 추론 인프라 최적화에 참여하기 시작했다고 밝혔다. 연구팀은 이를 재귀적 자기개선(RSI)의 초기 형태로 설명하지만, 완전한 RSI는 아니라고 선을 그었다.
더 보기Fathom은 장문맥 KV 캐시가 호스트 메모리로 오프로드될 때 발생하는 인덱스 스캔 병목을 줄이는 방법입니다. 각 질의가 키 채널별 읽기 비트 수를 결정해 전송량을 낮추면서 희소 어텐션의 정확도를 유지합니다.
더 보기Edge0는 다음 레이어에서 사용할 전문가를 미리 예측해 SSD 읽기와 계산을 겹치는 방식으로 소비자용 장치에서 대형 MoE를 실행하려 한다. 24GB 시스템에서 낮은 활성 메모리와 20 token/s를 보고했지만, 세부 평가 결과는 추가 확인이 필요하다.
더 보기vLLM이 Speculators를 확장해 Kimi K3용 DSpark 드래프트 모델의 학습과 배포를 지원한다. GB300 NVL72 테스트에서 상호작용 속도와 동시 처리량 개선을 확인했다.
더 보기Novita AI가 Kimi K2.x 서비스 형태에 맞춘 W4A16 CUDA 커널 Chord를 오픈소스로 공개했습니다. 특정 H200과 B300 테스트에서 Humming보다 최대 2.15배 높은 커널 성능을 보였지만, 이는 엔드투엔드 서비스 성능을 보장하는 수치는 아닙니다.
더 보기HyQuant는 대규모 언어 모델의 어텐션을 위한 혼합 정밀도 양자화 프레임워크입니다. 중요한 토큰과 최근 로컬 윈도우는 높은 정밀도로 보존하고, 나머지 컨텍스트는 저비트 형식으로 압축해 정확도와 메모리 효율의 균형을 추구합니다.
더 보기vLLM은 AMD Instinct MI355X에서 MiniMax M3의 성능을 높인 과정을 공개했다. 핵심은 단일 커널을 찾는 것이 아니라 로컬 텐서 형태, 중복 계산, 데이터 이동, 디스패치, 대기열을 차례로 점검하며 이동하는 병목을 추적하는 것이다.
더 보기vLLM의 Tiered KV Cache Offloading은 KV 캐시를 GPU 메모리에서 호스트 RAM, 파일 시스템, 오브젝트 스토리지, 원격 피어로 확장합니다. 일부 재계산을 재로딩으로 대체하고 인스턴스 간 캐시 공유도 가능하게 합니다.
더 보기Uno는 자기회귀 언어 모델에 경량 확산 경로를 추가해 여러 토큰을 병렬로 초안 생성한 뒤 기존 AR 경로로 검증한다. 논문은 별도 초안 모델 없이 최대 약 3배의 속도 향상을 보고한다.
더 보기vLLM이 HiSparse를 Hybrid Memory Allocator 및 기존 KV 오프로딩과 결합해 GPU에 전체 KV 캐시를 담을 수 없는 상황에서도 GLM 5.3의 디코딩을 이어가도록 했다. 긴 컨텍스트와 높은 동시성을 요구하는 에이전트 워크로드를 겨냥한 기능이다.
더 보기AgentX는 에이전트형 애플리케이션의 성능이 단순한 토큰 생성 속도만으로 결정되지 않는다는 점을 보여준다. vLLM은 긴 컨텍스트, 다중 턴 세션, 높은 프리픽스 재사용률에 대응하기 위해 KV 캐시와 실행, 스케줄링, Prefill/Decode 분리를 함께 최적화한다.
더 보기vLLM의 새 TT Plugin은 기존 OpenAI 호환 API를 유지하면서 Tenstorrent 가속기를 지원합니다. 핵심은 단순한 하드웨어 백엔드 추가가 아니라 Mesh 실행, 단계별 스케줄링, 디바이스 측 샘플링을 vLLM 코어 밖에서 구현한 데 있습니다.
더 보기버클리와 MIT 연구진이 시스템 메모리와 GPU 사이의 희소 MoE 가중치 이동을 최적화하는 오픈소스 추론 엔진 FreeToken을 공개했다. 논문 자료에 따르면 RTX 4060 노트북에서 Qwen3.6-35B를 초당 약 39토큰으로 실행했다.
더 보기하이브리드 27B 언어 모델을 대상으로 한 실험이 재귀형 Gated DeltaNet을 8비트 이상으로 유지해야 한다는 통념에 의문을 제기했다. 496개 선형 계층 전체를 NVFP4 W4A4로 양자화해도 여러 평가에서 BF16에 가까운 성능을 보였다.
더 보기Cerebras가 공개 추론 엔드포인트에 Qwen 3.8 27B를 추가했다. 무료 체험과 종량제 이용자가 사용할 수 있으며, 문서에는 약 1,500 tokens/s의 속도가 제시돼 있다.
더 보기