X-AuT, 점진적 증류로 음성 LLM 오디오 인코더 압축

음성 대규모 언어 모델의 추론 비용은 언어 모델 본체의 크기만으로 결정되지 않습니다. 입력 음성을 처리하는 오디오 인코더, 즉 오디오 타워의 깊이도 계산량과 지연 시간에 영향을 줍니다. X-AuT는 이 인코더를 줄일 때 단순히 레이어를 삭제하는 대신, 압축 이후의 표현과 출력 행동을 증류로 복원하는 접근을 제시합니다.

압축 방식

인코더 블록을 통째로 제거하면 디코더에 전달되는 오디오 임베딩이 달라질 수 있습니다. 논문은 이러한 변화가 음성 인식 결과에서 일부 토큰이 사라지는 현상이나 종료 토큰의 조기 생성을 유발할 수 있다고 설명합니다. X-AuT는 먼저 짧은 행동 프로브를 실행해 유용한 레이어 조합을 찾고, 그 결과를 바탕으로 압축 구성을 선택합니다.

압축 모델을 복원하는 학습 과정에는 여러 신호가 함께 들어갑니다.

• 표현 정렬: 학생 모델의 표현을 교사 모델의 표현에 가깝게 맞춥니다.
• 교차 스케일 증류: 최종 예측만 비교하지 않고 서로 다른 표현 수준의 정보를 전달합니다.
• 학생 정책 감독 스케줄링: 학습이 진행되면서 학생 모델 자체의 출력 정책을 점진적으로 감독에 반영합니다.
• LoRA 미세 조정: 언어 모델 본체는 고정하고 어텐션 LoRA 어댑터와 결합된 출력 임베딩을 업데이트합니다.

데이터 구성도 이 방법의 일부입니다. 전사 일관성 파이프라인에서 합의도가 가장 높은 데이터 계층을 사용하고, 미세 조정 단계에서는 데이터 소스별 가중치를 다시 조정합니다. 따라서 X-AuT는 네트워크 구조를 줄이는 동시에, 압축 모델을 회복하는 감독 신호의 품질도 관리하려는 설계로 볼 수 있습니다.

실험 결과

10개의 공개 중국어-영어 벤치마크에서 Qwen3-ASR-0.6B의 오디오 인코더를 18개 레이어에서 16개 레이어로 줄였을 때 매크로 평균 오류율은 5.61%에서 5.27%로 낮아졌습니다. 14개 레이어 모델은 오디오 타워 파라미터를 20.7% 줄였고 평균 오류율은 5.75%였습니다. 이번 결과만 놓고 보면 16개 레이어는 오류율과 압축 사이의 균형점, 14개 레이어는 더 큰 파라미터 절감을 위한 선택지로 해석할 수 있습니다.

교사 모델과 프루닝 순서도 중요했습니다. 동일한 학습 레시피에서 1.7B 교사 모델을 사용한 경우 평균 오류율은 5.55%였지만, 자기 증류는 8.45%였습니다. 또한 18개 레이어에서 14개 레이어로 단계적으로 줄인 방식은 5.75%를 기록해, 14개 레이어로 바로 줄인 방식의 6.73%보다 나았습니다. 다만 이 수치는 단일 실행 결과이며 벤치마크별 변화도 동일하지 않았습니다. 따라서 모든 작업에서 재현되는 보편적 개선으로 확대 해석하기는 어렵습니다.

의미와 남은 과제

X-AuT의 핵심 의미는 오디오 인코더 압축을 단순한 레이어 삭제가 아니라, 레이어 선택과 행동 평가, 표현 복원, 매개변수 효율적 적응을 결합한 절차로 재구성했다는 데 있습니다. 실제 음성 인식 배포에서는 정확도, 모델 크기, 추론 비용 사이의 절충점을 더 세밀하게 조정하는 데 도움이 될 수 있습니다. 앞으로는 실제 하드웨어에서의 종단 간 지연 감소, 반복 실험에서의 안정성, 다른 음성 모델과 언어에 대한 전이 가능성을 확인해야 합니다.

출처: Hugging Face Daily Papers