추론·배포

IBM Research는 Agent 시스템의 모델 라우팅을 단순 분류 문제로 보면 한계가 있다고 지적한다. 실제 운영에서는 비용, 품질, 지연시간, 캐시, 인프라, 거버넌스가 함께 작동한다.

이 arXiv 논문은 모델 압축과 추론 가속을 알고리즘 선택 문제가 아니라 배포 제약을 풀어가는 엔지니어링 문제로 재정의한다. 데이터, 지연 시간, 메모리, 정확도 허용치, 재학습 예산이 핵심 축이다.

vLLM이 Thinking Machines Lab의 1T 파라미터 멀티모달 모델 TML Inkling을 출시 당일 지원한다고 밝혔다. MTP, 장문 컨텍스트, MoE, 병렬화, 캐시 관리까지 포함한 고성능 추론 통합이다.