4비트 모델이 BF16 모델을 앞선 이유, QAH의 접근법

들어가며

모델을 효율적으로 배포하는 일반적인 방법은 먼저 레이어, 어텐션 헤드, 뉴런을 줄인 뒤 남은 가중치를 4비트로 양자화하는 것입니다. 메모리와 연산량은 크게 줄지만 추론, 수학, 코드 생성 능력이 함께 떨어질 수 있습니다. Hugging Face Blog가 소개한 Quantization-Aware Healing(QAH)은 이러한 압축 후 복구 단계를 다시 설계합니다.

QAH의 핵심

• 교사를 압축 이전 모델로 선택: 기존 양자화 인식 증류는 압축된 구조를 BF16으로 복구한 체크포인트를 교사로 삼는 경우가 많습니다. QAH는 대신 압축 전의 전체 크기·전체 정밀도 모델을 직접 사용합니다. 교사와 학생의 구조가 달라도 출력 로짓 분포를 맞추므로 지식 전달이 가능합니다.
• 양자화를 새로운 증류 과정으로 활용: 양자화를 단순한 마지막 변환으로 보지 않고, 앞선 구조 압축과 복구에서 전달되지 못한 정보를 원래 교사로부터 추가 학습하는 단계로 취급합니다.
• 긴 문맥에서도 메모리 절약: 시퀀스 전체와 어휘 차원의 대형 텐서를 한 번에 만들지 않고 KL 발산을 구간별로 계산합니다. 그 결과 최대 32k 토큰 문서를 고정된 GPU 메모리 예산 안에서 학습할 수 있다고 설명합니다.

결과를 어떻게 봐야 하나

연구팀은 GPT-OSS 120B를 60B로 축소하고 BF16 복구본을 만든 다음, QAH를 적용해 60B MXFP4 모델을 만들었습니다. 동일한 60B 구조의 BF16 모델과 비교한 결과 QAH 모델은 9개 평가 중 7개에서 더 높은 점수를 기록했습니다. 구조 압축에 특히 취약한 능력에서 개선 폭이 컸습니다. AA-LCR 긴 문맥 추론은 7.4점, AIME 2025 수학은 5.6점 상승했으며, 에이전트 코딩, 도구 사용, 과학 질의, 지시 이행, LiveCodeBench에서도 개선이 나타났습니다.

반면 MMLU-Pro는 0.2점, SciCode는 1.4점 하락했습니다. 60B QAH 모델은 LiveCodeBench에서 66.5점을 받아 120B 교사의 66.0점을 소폭 넘었습니다. 그러나 GPQA Diamond에서는 67.4점으로 교사의 69.0점에 미치지 못했고, 까다로운 긴 문맥 추론에서는 모델 용량에 따른 격차가 남았습니다.

의미와 한계

QAH의 의미는 압축 후 복구 모델이 이미 손실된 정보를 가진 중간 체크포인트에만 맞춰 학습할 필요가 없다는 데 있습니다. 더 작은 모델이 4비트로 실행되면서도 원래 대형 모델의 출력 분포에 직접 접근할 수 있기 때문입니다. 이는 메모리가 제한된 추론 환경과 비용을 중시하는 서비스에 새로운 최적화 경로를 제시합니다.

다만 이번 결과는 특정 GPT-OSS 구성, MXFP4 형식, 제한된 벤치마크에서 얻어졌습니다. 학습 비용과 데이터 요구량, 다른 모델 구조에서의 재현성은 제시된 자료만으로 판단하기 어렵습니다. 따라서 QAH는 유망한 압축 후 복구 방법이지만, 4비트 모델이 일반적으로 BF16 모델보다 우수하다는 증거로 확대 해석해서는 안 됩니다.

출처: Hugging Face Blog