아티클 목록으로

QDA, 에이전트로 LLM 양자화 레시피 자동 탐색

약 3분 소요

대규모 언어 모델을 양자화하면 서빙 비용을 줄일 수 있지만, 어떤 방법을 어떻게 조합할지는 모델과 목표 정밀도에 따라 달라진다. 새 모델이 나올 때마다 전문가가 레시피를 다시 설계하는 방식은 시간이 많이 들고, 최선의 조합을 찾지 못할 수도 있다. QDA(Quantization Design with Agents)는 에이전트가 후처리 양자화 레시피를 제안하고, 후보 모델을 만들고 평가하며 반복적으로 개선하는 시스템이다.

평가 부담을 줄이는 탐색 루프

QDA는 레시피 제안, 후보 구축, 결과 측정, 다음 변경 결정의 순환 구조로 작동한다. 핵심은 각 후보의 평가 비용을 낮춰 제한된 시간 안에 더 많은 조합을 살펴볼 수 있게 하는 데 있다.

  • KL 발산으로 빠르게 선별. 양자화 모델과 원본 모델의 출력 분포를 추론 트레이스에서 비교한다. 이 트레이스는 에이전트에게 공개되지 않는다. 점수 계산은 수분이면 끝나며, 추론 모델을 완전히 평가하는 데 필요한 수십 GPU 시간보다 훨씬 짧다.
  • 유망한 후보는 긴 생성으로 점검. 분포 차이를 나타내는 점수만으로 실제 작업 성능이나 생성 오류를 모두 판단할 수는 없다. QDA는 선택된 후보를 대상으로 긴 생성을 실행해 반복 루프 같은 문제를 확인한다.
  • 양자화 방법을 조합 가능하게 구성. 21개의 공개 후처리 양자화 방법을 담은 라이브러리를 제공하며, 방법을 서로 다른 순서로 쌓을 수 있고 새 모델 아키텍처에도 적용할 수 있도록 설계했다. 논문에 따르면 8시간 탐색에서 최대 36개 후보를 평가할 수 있다.

결과와 현장 적용의 의미

네 개 추론 모델 실험에서 QDA는 가장 강력한 공개 레시피보다 평균 정확도를 W4A16에서 0.9%포인트, W4A8에서 1.4포인트, W3A16에서 2.2포인트 높였다. 탐색 한 번에 64 GPU 시간이 들었다. 3,200억 파라미터 GLM-5.3-Flash를 NVFP4(W4A4)로 설정한 실험에서는 6.5시간, 69달러의 탐색으로 FP8 모델 정확도의 98.3%를 달성했다. 논문이 제시한 최선의 벤더 체크포인트는 96.9%였다. 같은 에이전트에 QDA 도구 대신 NVIDIA ModelOpt 도구를 제공했을 때 Qwen3.6-35B에서 0.5~1.3%포인트 뒤처졌다는 결과도 보고됐다. 탐색 에이전트뿐 아니라 이를 뒷받침하는 도구가 결과에 영향을 준다는 점을 보여준다.

QDA의 의미는 모델마다 반복되던 수작업 양자화 설계를 재사용 가능한 자동 탐색 절차로 바꾸려는 데 있다. 다만 KL 점수는 후보를 빠르게 거르는 지표일 뿐이므로, 긴 생성 평가와 추가 검증을 대체하지 않는다. 또한 일부 모델에서 얻은 결과가 모든 모델과 작업에 그대로 적용된다고 단정할 수 없다. 논문은 QDA 체크포인트가 기존 서빙 커널에서 실행되며 추론 오버헤드가 없다고 설명한다. 검색 자체에는 GPU 시간이 필요하고, 에이전트 토큰 비용은 탐색당 19~75달러로 제시됐다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물