GigaAM Multilingual: 저자원 언어를 위한 음성 기반 모델

도입

다국어 음성 인식은 겉보기에는 언어를 많이 지원할수록 좋아 보인다. 하지만 실제로는 데이터가 일부 고자원 언어에 쏠리기 쉽고, 그 결과 저자원 언어는 충분히 학습되지 못한다. GigaAM Multilingual은 바로 이 불균형을 줄이는 데 초점을 맞추며, 중앙아시아의 상대적으로 덜 지원받는 언어들을 위한 실용적인 기반 모델을 목표로 한다.

핵심 포인트

• 대상 언어: 카자흐어, 키르기스어, 우즈베크어.
• 모델 구조: Conformer 인코더.
• 학습 방식: HuBERT 스타일의 자기지도 사전학습.
• 규모: 200만 시간의 음성, 70개 이상 언어.
• 불균형 완화: 사전학습 단계에서 클러스터 수준 데이터 밸런싱.
• 미세조정 전략: 도메인 인지 샘플링으로 고자원 언어 편중 완화.
• 성과: Whisper Large v3, Omnilingual-1B보다 우수한 결과.
• 실용성: 몇 시간 분량의 라벨 데이터만으로도 새 언어 적응 가능.

왜 중요한가

이 연구의 핵심은 단순한 스케일업이 아니다. 다국어 모델이 실제로 약한 이유는 모델 크기보다도 데이터 분포의 왜곡에 있는 경우가 많다. 고자원 언어가 학습을 지배하면, 전체 평균은 좋아 보여도 정작 필요한 저자원 언어에서는 성능이 부족할 수 있다. GigaAM Multilingual은 이 문제를 데이터 구성과 샘플링 설계로 해결하려고 한다.

특히 자발화 음성에서의 향상은 의미가 크다. 읽기 음성보다 실제 대화나 자연 발화가 훨씬 어렵기 때문이다. 이 지점에서 성능이 개선됐다는 것은, 모델이 단순히 깨끗한 데이터에만 맞춘 것이 아니라 더 견고한 표현을 학습했음을 보여준다.

의미와 영향

GigaAM Multilingual은 “큰 범용 모델 하나로 모든 것을 해결한다”는 접근보다, “목표 언어와 데이터 현실에 맞춰 학습 전략을 조정한다”는 접근이 더 중요할 수 있음을 보여준다. 저자원 언어 음성 기술에서는 라벨 데이터가 적은 것이 보통이지만, 이 모델은 적은 양의 주석 데이터로도 빠르게 적응할 수 있는 가능성을 제시한다. 따라서 실제 현장 배포를 고민하는 팀에게 꽤 실용적인 참고 사례가 된다.

Hugging Face Daily Papers