추론·배포

DumpsterCluster 연구는 퇴역 GPU를 묶어 대규모 언어 모델 추론 시스템으로 활용할 수 있음을 보여준다. 그러나 낮은 구매 비용만으로는 충분하지 않으며, 전기요금과 전력의 탄소집약도가 실제 경제성과 지속가능성을 결정한다.

한 보안 연구 글은 스타트업이 쓰지 못한 AI API 크레딧을 사들여 할인된 추론 접근권으로 되파는 ‘토큰 브로커’ 시장을 추적했다. 추론 자원이 일종의 준화폐처럼 유통되면서 비용 절감과 함께 보안·컴플라이언스 리스크도 커지고 있다.

LiveAnimate는 포즈 기반 인물 애니메이션의 오래된 딜레마, 즉 좋은 품질과 느린 속도 사이의 충돌을 다룬다. 14B 규모의 비디오 DiT를 실시간 스트리밍 추론에 맞게 재구성해 긴 시퀀스에서도 안정성을 유지하려는 점이 핵심이다.

UniMoMo는 학습이 끝난 대형 추천 MoE 모델을 더 적은 전문가 수의 표준 MoE로 바꾸는 후처리 압축 프레임워크다. 파라미터 거리 대신 보정 데이터에서의 기능적 유사성과 라우팅 트래픽을 기준으로 전문가를 병합한다.

vLLM의 Decode Context Parallelism(DCP)은 KV 캐시를 어텐션 헤드가 아니라 시퀀스 차원으로 나눈다. 긴 컨텍스트 에이전트 워크로드에서 GPU 메모리 한계를 낮추고 높은 동시성에서 처리량을 끌어올리기 위한 접근이다.

GPTQ-2D는 잔차의 왼쪽과 오른쪽 모두에 기저 행렬이 작용하는 더 일반적인 적응형 반올림 문제를 다룬다. 단순 벡터화 방식과 동일한 반올림 결과를 유지하면서, 반대각선 단위 처리로 계산 복잡도를 3차 시간으로 낮춘다.

이 논문은 투기적 디코딩에서 손실 검증이 효율을 높이는 동시에 모델의 디코딩 분포를 바꿀 수 있음을 분석한다. 검증을 느슨하게 하는 방식은 속도 향상뿐 아니라 품질 저하 위험도 함께 가져온다.

OmniScope는 오디오와 비디오의 관련 정보가 같은 순간에 나타난다는 가정을 버린 학습 불필요 토큰 압축 프레임워크다. 질의는 공통 앵커로 쓰되, 각 모달리티의 중요도는 따로 계산한다.

vLLM은 PyTorch, oneDNN, KleidiAI 커뮤니티와 함께 Arm Neoverse 서버용 LLM 서빙 경로를 개선했다. 패키징, 메모리 할당, 동기화, BF16 dense layer, paged attention까지 전반적인 병목을 다뤘다.

Ai2가 Hugging Face Blog에서 공개한 OlmoEarth Platform은 지리공간 파운데이션 모델을 실제 대규모 위성 추론 작업에 투입하기 위한 인프라다.

vLLM과 Speculators가 P-EAGLE, DFlash, DSpark를 지원하며 추측 디코딩의 초점을 순차적 후보 토큰 생성에서 병렬 후보 블록 생성으로 옮겼다. 이는 LLM 서빙에서 드래프트 단계의 지연과 운영 튜닝 부담을 줄이려는 시도다.

vLLM이 Kimi K3 가중치 공개와 동시에 하이브리드 KDA 프리픽스 캐싱, DSpark 추측 디코딩, 분리형 배포, NVIDIA 및 AMD GPU 최적화를 포함한 서빙 지원을 발표했다. 핵심은 모델 실행 자체보다 2.8조 파라미터급 하이브리드 MoE를 실제 서비스 경로로 만드는 데 있다.

Runway가 품질, 속도, 비용 기준으로 이미지·영상·오디오 생성 모델을 자동 선택하는 Media Router를 공개했다. 생성형 미디어 시장이 단일 모델 경쟁을 넘어 인프라와 라우팅 경쟁으로 이동하고 있음을 보여준다.

IBM Research는 Agent 시스템의 모델 라우팅을 단순 분류 문제로 보면 한계가 있다고 지적한다. 실제 운영에서는 비용, 품질, 지연시간, 캐시, 인프라, 거버넌스가 함께 작동한다.

이 arXiv 논문은 모델 압축과 추론 가속을 알고리즘 선택 문제가 아니라 배포 제약을 풀어가는 엔지니어링 문제로 재정의한다. 데이터, 지연 시간, 메모리, 정확도 허용치, 재학습 예산이 핵심 축이다.

vLLM이 Thinking Machines Lab의 1T 파라미터 멀티모달 모델 TML Inkling을 출시 당일 지원한다고 밝혔다. MTP, 장문 컨텍스트, MoE, 병렬화, 캐시 관리까지 포함한 고성능 추론 통합이다.