추론·배포

엔비디아가 가정 내 호환 컴퓨터를 연결해 로컬 AI 추론에 활용하는 오픈소스 소프트웨어 Personal AI Router(PAIR)를 공개했다. 이름과 달리 네트워크 하드웨어가 아니라 소프트웨어 도구다.

Declarative Attention은 언어 모델이 생성 중 필요한 컨텍스트 영역을 직접 선언하도록 해 KV 캐시 읽기를 줄이는 방식입니다. 초기 평가에서는 큰 읽기량 감소와 함께 제한적인 정확도 하락이 나타났습니다.

CRISP는 입력에 따라 달라지는 희소 어텐션을 위해 프록시 어텐션 맵에서 구조를 직접 읽는 지표와 sink를 고려한 임계값을 제안합니다. 이를 통해 동적 라우팅 비용과 긴 문맥에서 누적되는 배경 노이즈를 함께 줄이는 것이 목표입니다.

200개가 넘는 내부 애플리케이션의 트래픽을 하나의 셀프 호스팅 모델로 모으고, 실제 운영 오류를 바탕으로 후학습한 사례가 소개됐다. 지시 따르기, 함수 호출, 내부 업무 분포별 GRPO 전문가를 만든 뒤 2단계 SLERP로 결합한다.

NAVER AI Lab은 추측 디코딩의 순차 검증 과정을 초안 모델 학습에 반영하는 Verification-Aware Training(VAT)을 제안했다. 모델 구조와 추론 절차를 바꾸지 않고 수용되는 토큰 길이와 실제 추론 속도를 높이는 접근이다.

vLLM-Omni는 MiniMax H3를 인코더부터 MP4 생성까지 이어지는 전체 시스템으로 보고 최적화했다. 여기에 FastVideo의 FastH3를 결합해 DiT 순전파 횟수를 4회로 줄이고 완성된 응답 시간을 재생 시간에 가깝게 낮췄다.

한 연구에서 어텐션 싱크를 적용한 슬라이딩 윈도우 어텐션이 추가적인 사후 학습 없이 여러 모델과 작업에서 사후 학습된 선형 어텐션과 비슷하거나 더 나은 성능을 보였습니다. 장문맥 추론에서는 격차가 특히 크게 나타났습니다.

한 연구가 LLM의 출력 투영과 Top-k 선택을 최대 내적 검색 문제로 재구성하고, HNSW 벡터 인덱스로 유망한 토큰만 검색하는 방식을 제안했다. 소배치 CPU 추론에서 메모리 대역폭 병목을 줄이는 것이 핵심이다.

장문맥 실험에 따르면 모델 가중치와 GPU가 같아도 어텐션 백엔드, KV 캐시 정밀도, 양자화, 다중 GPU 통신이 다음 토큰을 바꿀 수 있다.

TileMix는 융합된 밀집 어텐션 커널 안에서 스코어 타일 그룹을 FP16 또는 INT8 경로로 나눕니다. 토큰 연결을 제거하지 않으면서 긴 컨텍스트 프리필의 품질과 처리량 사이의 균형을 겨냥합니다.

구조적 압축과 4비트 양자화를 함께 적용하면 추론, 수학, 코딩, 장문맥 성능이 약화될 수 있다. Multiverse Computing은 원본 비압축 모델에서 직접 지식 증류를 수행하는 Quantization-Aware Healing(QAH)을 제안했다.

Multiverse Computing은 구조적으로 축소되고 4비트 양자화된 모델을 압축 이전의 대형 모델에서 직접 증류하는 QAH를 소개했습니다. GPT-OSS 실험에서 60B MXFP4 모델은 9개 벤치마크 중 7개에서 같은 구조의 BF16 모델을 앞섰습니다.

Daedalus-150M은 대형 모델을 축소한 뒤 CPU에 맞추는 대신, 4비트 가중치와 단일 사용자·토큰 단위 생성을 먼저 정하고 구조를 선택한 소형 언어 모델입니다. 18개 블록 중 12개를 짧은 합성곱으로 구성해 긴 문맥에서 KV 캐시를 반복해서 읽는 비용을 줄였습니다.

ParaTempo는 각 추론 분기가 시간에 따라 답안 공간에서 얼마나 수렴하는지 추적하는 학습 불필요 비동기 병렬 추론 프레임워크입니다. 수렴도가 낮은 경로는 제거하고, 안정된 경로는 일찍 종료하며, 남은 계산을 새로운 분기에 재배분합니다.

Nexus는 MCP 에이전트의 반복적인 전체 도구 스키마 프리필을 검색 기반 라우팅으로 분리한다. KV 캐시 접합도 활용하지만 RoPE 위치 드리프트 때문에 적용 범위에는 명확한 한계가 있다.

Llama-Mobile은 제한된 메모리와 연산 자원을 가진 모바일 기기에서 비전-언어 모델을 실행하기 위한 양자화 프레임워크를 제안합니다. 모델이 직접 생성한 데이터와 Arm CPU 실행을 고려한 2.7비트 형식을 활용해 Llama 3.2 11B Vision Instruct를 3.7GB로 줄이면서 표준 시각 질의응답 성능을 유지했습니다.

vLLM이 ROCm 기반 AMD Instinct GPU에서 추측 디코딩을 구성하고 조정하는 방법을 소개했습니다. 네이티브 MTP, EAGLE-3, DFlash, DSpark를 비교하며 실제 성능은 수용률과 작업 부하에 따라 달라진다고 설명합니다.

같은 모델 가중치라도 GPU, 양자화, 추론 런타임, 어텐션 커널이 다르면 출력이 달라질 수 있습니다. 성능 저하의 원인은 모델 자체가 아니라 추론 스택일 수 있습니다.

FlashPrefill V2는 평균 보정항, GPU 중심의 희소 어텐션 커널, 페이지드 KV 캐시와 연속 배치 지원을 결합해 장문맥 LLM 프리필을 실서비스 환경에 맞게 개선한다. NVIDIA H20의 128K 문맥에서 FP8 기준 FlashAttention-2 대비 최대 47.26배의 속도 향상을 보고했다.

기업 지출 관리 플랫폼 Ramp가 여러 대규모 언어 모델을 하나의 API로 이용하고 전환할 수 있는 AI 모델 라우팅 서비스 ‘Router’를 출시했다. 현재 미국에서만 제공되며 2026년 남은 기간에는 라우팅 이용료가 면제된다.

FreeToken은 서로 다른 개인용 하드웨어에서 대규모 Mixture-of-Experts 모델을 실행하기 위한 엣지 네이티브 서빙 시스템입니다. PC를 작은 GPU로 보는 대신 CPU, GPU, 메모리와 모델 상태를 통합하는 탄력적 추론 플랫폼으로 다룹니다.