NVIDIA Nemotron 3.5, 프롬프트로 조정하는 다국어 음성 모델

들어가며

음성을 텍스트로 바꾸는 것만으로는 실제 업무 요구를 충족하기 어렵다. 회의에서는 누가 말했는지 구분해야 하고, 다국어 통화에서는 번역이 필요하다. 의료 기록은 전문 용어를 정확한 표기로 남겨야 한다. NVIDIA의 Nemotron 3.5 Transcribe는 이러한 작업을 하나의 오픈 웨이트 모델에서 처리하고, 자연어 지시를 통해 같은 녹음의 출력 목적을 바꾸도록 설계됐다.

핵심 기능

• 다중 작업 통합: 전사, 화자 식별, 번역, 오디오 질의응답을 지원한다. 40개 언어를 전사하고, 31개 언어는 영어와 상호 번역할 수 있으며, 13개 언어에서 화자 정보를 제공한다.
• 긴 녹음과 다중 화자 처리: 약 1시간 길이의 녹음을 다루고 최대 8명의 화자를 표시한다. 화자 단서를 음향 특징과 함께 언어 모델에 전달해, 생성 과정에서 발화자를 표시하는 방식이다.
• 프롬프트 기반 제어: “화자별로 전사하라”, “영어로 번역하라”, “회의에서 결정된 내용을 답하라”와 같은 지시를 사용할 수 있다. 낯선 용어의 후보를 제시하되 음성에서 확인될 때만 사용하도록 요구하는 것도 가능하다.
• 도메인 적응: Granary v2는 다국어 데이터와 재사용 가능한 데이터 선별 파이프라인을 제공하고, NeMo Speech는 미세 조정 도구와 레시피를 제공한다. NVIDIA의 의료 사례에서는 최적의 프롬프트 설정과 비교해, 보지 못한 화자에 대한 단어 오류율이 45.8% 상대적으로 감소했다고 보고됐다.

평가 결과와 한계

기사에 따르면 Nemotron 3.5는 Hugging Face Open ASR Leaderboard의 영어 부문에서 오픈 웨이트 모델 중 평균 단어 오류율 5.33%를 기록했다. 7개 언어 비교에서는 4.62%, 장시간 음성 비교에서는 10.98%로 제시됐다. Artificial Analysis의 AA-WER는 2.8%이며, 전체 약 300억 개 파라미터 중 토큰당 약 40억 개가 활성화된다. 언어 모델은 Mamba와 Transformer를 결합한 Mixture-of-Experts 구조를 사용한다.

화자 분리 측면에서 NVIDIA는 David AI의 21개 언어 평가에서 가장 낮은 오류율을, VoiceArena의 14개 시스템 비교에서 1위를 기록했다고 설명한다. 다만 평가마다 데이터셋, 지표, 참여 시스템이 다르므로 이 결과를 모든 실제 환경에서의 절대적 우위로 해석해서는 안 된다. 모델 안내 역시 이름, 화자 전환, 오디오 질문의 답변을 원본과 대조하라고 권고한다.

의미와 영향

Nemotron 3.5의 중요한 점은 즉시 적용 가능한 프롬프트 제어와 본격적인 도메인 학습을 하나의 경로로 연결했다는 데 있다. 먼저 프롬프트로 요구 사항을 시험하고, 전문 용어·억양·표기 규칙에 대한 요구가 높아지면 Granary v2와 미세 조정을 활용할 수 있다.

모델은 Hugging Face와 ModelScope에서 제공된다. NVIDIA는 로컬 장치 실행을 위한 양자화 버전을 예고했으며, 대규모 처리는 데이터센터 GPU에서 확장할 수 있다고 설명한다. 수업 녹화, 회의 분석, 다국어 커뮤니케이션, 의료 문서화 분야에서 기존의 단순 전사 API보다 유연한 음성 처리 기반으로 활용될 가능성이 있다.

출처: Hugging Face Blog