vLLM, H200 16장으로 GLM-5.3의 100만 토큰 문맥 처리
vLLM은 Prefill Context Parallelism, Decode Context Parallelism, Hybrid HiSparse를 결합해 H200 8장 노드 두 대에서 GLM-5.3을 서비스하는 구성을 공개했다. AgentX에서 동일한 처리량의 데이터 병렬 배포보다 사용자별 속도가 1.7~3.2배 높았으며, 테스트한 구성 중 유일하게 100만 토큰 문맥을 지원했다.
더 보기