불확실한 디코딩 단계에서만 가중치 정밀도를 높이는 방법

대규모 언어 모델 추론에서는 보통 한 세대 전체에 동일한 가중치 정밀도를 적용한다. 낮은 비트 수는 메모리 읽기와 대역폭을 줄여 주지만 출력 품질이 흔들릴 수 있고, 높은 정밀도는 안정적인 대신 비용이 커진다. 이 연구는 모든 디코딩 단계에 같은 정밀도를 쓰는 대신, 모델이 불확실해 보이는 단계에만 추가 비용을 투입하는 방식을 제안한다.

방법은 8비트 가중치를 저장해 두고, 먼저 상위 4비트를 사용해 출력을 계산한다. 이후 출력 분포의 엔트로피가 임계값보다 높거나, 가장 높은 확률의 토큰과 두 번째 후보의 차이가 작으면 해당 단계를 8비트로 다시 계산한다. 실험 모델은 Qwen3-0.6B이며 데이터셋은 GSM8K다. 비용은 토큰 하나를 생성할 때 읽은 가중치 바이트 수로 계산했다.

핵심 결과

• 36,724개 재생 단계에서 엔트로피는 고정밀 재계산 후 저정밀 argmax가 뒤집히는지 AUC 0.93으로 예측했다.
• 정밀도 승격 예산이 약 15%일 때 엔트로피 게이트는 뒤집힘의 78%, margin 게이트는 94%를 포착했다. 같은 비율의 무작위 게이트에서 기대되는 포착률은 15%다.
• 150개 실시간 문제에서 전체 8비트는 64.0%, 전체 저정밀은 55.3%를 기록했다. 약 16%의 단계에서 승격한 엔트로피 게이트는 62.7%였고, 가중치 읽기량은 전체 고정밀 방식의 약 0.87배였다.
• 전체 고정밀 대비 차이는 -1.3%포인트, 구간은 -8.0~+5.3%포인트였다. 전체 저정밀 대비 차이는 +7.3%포인트, 구간은 0.0~+14.7%포인트로, 어느 기준과도 통계적으로 뚜렷하게 구분되지 않았다.

이 연구가 보여 주는 가장 중요한 가능성은 불확실성을 정밀도 예산 배분 신호로 사용할 수 있다는 점이다. 저정밀과 고정밀 결과가 다음 토큰에서 달라질 가능성은 출력 분포만으로 상당히 잘 식별할 수 있다. 다만 argmax가 뒤집혔다는 사실이 곧 최종 답변의 오류를 의미하지는 않는다. 한 토큰이 바뀌어도 이후 생성 과정이 같은 답에 도달할 수 있기 때문이다. 따라서 진짜 비교 대상은 뒤집힘 탐지율이 아니라 동일한 바이트 예산에서의 최종 정답률이어야 한다.

현재 결과만으로 방법의 우월성을 단정하기 어려운 이유도 있다. 동일 비용의 고정 5비트 또는 6비트 디코더와 비교하지 않았기 때문이다. 이런 균일한 방식은 단계별 게이트 없이도 비슷한 평균 비트 수를 사용할 수 있다. 또한 실시간 무작위 대조군, 사고 과정 단계에 따른 규칙, 두 번째 모델, 실시간 KL 측정도 수행되지 않았다. 같은 비용 모델에서 검증된 speculative decoding이 유사한 바이트 수로 KL 0에 도달한다는 결과 역시 보고됐지만, 이것만으로 선택적 정밀도 승격의 우위를 증명할 수는 없다.

실제 서비스에서는 연속 배치 처리도 중요한 변수다. 단일 요청에서는 필요한 단계만 다시 읽으면 되지만, 여러 요청을 동시에 처리할 때 한 요청의 승격이 배치 동기화나 처리량에 영향을 줄 수 있다. 두 가지 정밀도 형식을 VRAM에 함께 올려야 하거나 추가적인 대역폭과 지연이 발생할 가능성도 있다. 제공된 결과에는 이런 동시 실행 환경의 측정이 없다.

따라서 이 논문은 완성된 비용 절감 해법이라기보다 적응형 추론 제어의 유망한 출발점으로 보는 편이 정확하다. 후속 연구는 동일한 바이트 예산에서 고정 5/6비트 방식과 최종 정답률을 비교하고, 동시 요청 환경에서 지연 시간·처리량·최대 메모리를 함께 측정해야 한다.

출처: Hugging Face Daily Papers