AutoCompress, 실제 하드웨어 제약에 맞춰 LLM을 자동 압축

대규모 언어 모델 압축은 이제 파라미터를 일정 비율로 삭제하는 문제만이 아니다. 비슷한 파라미터 수를 가진 모델이라도 레이어 구조, 컨텍스트 길이, 배치 크기, GPU, 서빙 엔진에 따라 지연시간과 처리량, 메모리 사용량이 달라질 수 있다. NVIDIA 연구진이 제안한 AutoCompress는 이러한 실제 배포 조건을 모델 압축의 핵심 입력으로 삼는다.

파라미터 수를 넘어 실제 비용을 최적화

기존 가지치기 방식은 먼저 작은 모델의 크기를 정한 뒤 목표 환경에서 제약을 만족하는지 확인하는 경우가 많다. 하지만 파라미터 수는 실제 서비스 성능을 나타내는 간접 지표에 불과하다. AutoCompress는 다음과 같은 절차로 배포 환경에 맞는 구조를 찾는다.

• 하드웨어별 비용 모델 구축: 대상 GPU에서 모델을 효율적으로 프로파일링해 여러 구조의 비용을 추정한다.
• 미분 가능한 아키텍처 탐색: 배포 제약 아래에서 전체 구조와 레이어별 구조를 함께 최적화한다.
• 이기종 구조 생성: 모든 레이어에 동일한 압축률을 적용하지 않고, 레이어마다 다른 규모를 선택한다.
• 가지치기와 증류 수행: 탐색으로 정한 구조를 실제로 압축한 뒤, 지식 증류로 품질 저하를 보완한다.

핵심은 가장 작은 모델을 찾는 것이 아니라 특정 GPU, 워크로드, 서빙 조건을 만족하는 구조를 찾는 데 있다. 비용 모델은 엔드투엔드 지연시간, 처리량, 메모리 측정값과도 비교된다. 따라서 예측상으로는 제약을 만족하지만 실제 서비스에서 한계를 넘는 문제를 줄이는 방향이다.

세 가지 배포 환경에서의 결과

연구진은 장문 컨텍스트 로컬 코딩, 데이터센터 배치 서빙, 응답 속도가 중요한 게임 내 상호작용이라는 세 가지 환경에서 AutoCompress를 평가했다. Minitron 가지치기 프레임워크와 비교했을 때 8개 벤치마크의 평균 정확도는 RTX 5070에서 6.57%포인트, RTX 5080에서 2.35%포인트, H100에서 0.57%포인트 높았다. 연구 자료는 아키텍처 탐색에 필요한 토큰 수도 약 2~3.3배 줄었다고 설명한다.

대규모 사례에서는 Nemotron 3.5 Super를 120B에서 74B 파라미터로 압축했다. 단일 B200에서 BF16과 128K 컨텍스트로 서빙하는 조건을 기준으로, 평균 벤치마크 점수의 약 95%를 유지했다는 결과다.

의미와 한계

AutoCompress의 의미는 모델 품질과 배포 가능성을 하나의 최적화 과정에서 다룬다는 데 있다. 장문 컨텍스트 애플리케이션, 배치 추론, 대화형 제품을 개발할 때 파라미터 규모를 임의로 정한 뒤 반복해서 확인하는 대신, 목표 하드웨어와 서빙 조건을 직접 입력할 수 있다.

다만 결과는 특정 하드웨어, 워크로드, 서빙 엔진을 전제로 해석해야 한다. 이 방법은 환경 차이를 명시적으로 모델링하므로, 한 GPU에서 확인한 개선이 모든 플랫폼에서 그대로 재현된다고 볼 수는 없다. 더 넓은 관점에서 AutoCompress는 모델 압축을 수작업에 의존한 크기 선정에서, 실측 성능 중심의 자동화된 엔지니어링 과정으로 옮기는 시도를 보여준다.

출처: Hugging Face Daily Papers