Gated DeltaNet이 4비트 양자화를 견디는 이유

배경

하이브리드 대규모 언어 모델은 서로 다른 역할을 하는 두 종류의 연산을 결합한다. Softmax Attention은 토큰 간의 유연한 상호작용을 담당하고, Gated DeltaNet(GDN) 같은 선형 어텐션은 고정 크기의 재귀 상태로 이전 문맥을 요약한다. GDN은 긴 문맥에서도 상태 크기를 일정하게 유지할 수 있지만, 한 시점의 상태가 다음 시점으로 전달된다. 이 때문에 저비트 양자화 오류가 긴 문맥에서 계속 누적될 수 있다는 우려가 있었다.

Hugging Face Daily Papers에 소개된 연구는 Qwen3.8-27B를 사용해 이 가정을 검증했다. 해당 모델은 48개의 GDN 계층과 16개의 어텐션 계층으로 구성된다. 연구진은 양자화 인식 학습이나 증류 없이 캘리브레이션 기반 PTQ만 사용해 총 496개 선형 계층을 NVFP4 W4A4로 양자화했다.

핵심 결과

• BF16에 가까운 정확도를 유지했다. 4K와 32K 문맥의 퍼플렉서티, MMLU-Pro, GSM8K, AIME'25, GPQA-Diamond, LiveCodeBench를 평가한 결과, 완전 양자화 모델은 BF16과 시드 변동 범위에 가까운 결과를 보였다. 5개 작업 평균 차이는 -0.52였으며, RULER 검색 평가는 64K 문맥까지 진행됐다.
• 게이트 프로젝션은 예상보다 안정적이었다. GDN의 감쇠 게이트와 쓰기 강도 게이트에는 softplus, 지수 함수, sigmoid와 같은 파라미터화가 사용된다. 약 11%의 GEMM 오류가 게이트 출력에서는 약 2%로 줄어들어, 취약할 것으로 여겨진 구성 요소가 실제로는 가장 민감하지 않은 축에 속했다.
• 재귀 상태의 잡음은 계속 커지지 않았다. 델타 규칙은 현재 key 방향을 따라 상태를 덮어쓴다. 따라서 오류를 계속 누적하는 단순한 구조와 달리, 주입된 상태 충격은 수백 스텝 안에 잊혔다. 32K 토큰 동안 양자화 잡음은 평탄한 수준에 머물렀고, 문맥 뒤쪽으로 갈수록 퍼플렉서티 차이가 줄어드는 현상도 나타났다.
• 블록 스케일링이 기여했다. NVFP4는 16개 요소 단위로 스케일을 적용한다. 이를 통해 잔차 스트림의 극단적인 이상치를 국소적으로 처리하고, 계층 유형별 활성화 오류를 보다 고르게 분산할 수 있었다.
• 서빙 구현이 병목이 될 수 있다. GDN 프로젝션을 하나의 GEMM으로 융합하면서 모듈별 캘리브레이션 스케일을 그대로 사용하면 전체 스케일 불일치가 생길 수 있다. 연구진은 수정 방법을 제시했으며, 공개 체크포인트에는 조정된 스케일이 적용돼 있다.

의미와 한계

vLLM, TP=1, 96 GB Blackwell GPU 한 장이라는 동일한 환경에서 Minima의 가중치 크기는 약 17.5 GiB로 BF16 모델의 약 2.9분의 1이었다. GDN과 어텐션을 더 높은 정밀도로 유지한 비교 레시피보다 프리필 속도도 14~19% 빨랐다.

이번 결과가 모든 재귀형 또는 선형 어텐션 모델이 자동으로 4비트 양자화에 안전하다는 뜻은 아니다. 다만 저비트 성능은 재귀 구조라는 사실만으로 결정되지 않으며, 수치 형식과 게이트의 비선형성, 상태 갱신 규칙을 함께 살펴봐야 한다는 점을 보여준다. 실제 배포에서는 긴 문맥 정확도, 융합 커널의 스케일 처리, 추론 프레임워크 호환성을 별도로 검증해야 한다. 그럼에도 이 연구는 하이브리드 모델의 재귀 계층을 일괄적으로 고정밀도로 보호해야 한다는 가정을 재검토하게 한다.

출처: Hugging Face Daily Papers