NVIDIA Nemotron 3.5、指示で適応できる多言語音声モデル

概要

音声をテキストに変換するだけでは、実際の業務要件を満たせないことが多い。会議では誰が話したかを区別する必要があり、国際的な通話では翻訳が求められる。医療記録では、専門用語を正しい表記で残さなければならない。NVIDIAのNemotron 3.5 Transcribeは、これらの処理を一つのオープンウェイトモデルで扱い、自然言語の指示によって出力を切り替えることを狙っている。

主なポイント

• 複数タスクを統合：文字起こし、話者識別、翻訳、音声質問応答に対応する。40言語を文字起こしでき、31言語は英語との相互翻訳に対応する。話者識別は13言語で利用できる。
• 長時間・複数話者に対応：約1時間までの録音を処理し、最大8人の話者をラベル付けできる。話者に関する手がかりを音響特徴とともに言語モデルへ渡すため、生成中に発話者を割り当てられる設計になっている。
• プロンプトで用途を指定：「話者名を付けて文字起こしする」「英語に翻訳する」「会議で決まったことを答える」といった指示が可能だ。未知の用語について候補を与え、音声で確認できる場合だけ使うよう指定することもできる。
• 追加学習への道筋：Granary v2は多言語データと再利用可能なデータ整理パイプラインを提供し、NeMo Speechは微調整用の手順を用意する。NVIDIAの医療事例では、最良のプロンプト設定と比べ、未使用話者での単語誤り率が45.8%相対的に低下したと報告されている。

評価結果と注意点

記事によれば、Hugging Face Open ASR Leaderboardの英語部門で、オープンウェイトモデル中5.33%の平均単語誤り率を記録した。7言語の比較では4.62%、長時間音声の比較では10.98%とされる。Artificial AnalysisではAA-WERが2.8%で、総パラメータ約300億のうち、1トークン当たり約40億がアクティブになる。言語モデルにはMambaとTransformerを組み合わせたMixture-of-Experts構成を採用する。

話者識別では、David AIの21言語評価で最も低い誤り率、VoiceArenaの14システム比較で首位になったとNVIDIAは説明している。ただし、各ベンチマークはデータ、指標、参加システムが異なるため、結果をあらゆる環境での優位性と解釈することはできない。モデルの案内でも、氏名、話者の切り替わり、音声質問への回答を元音声と照合するよう推奨している。

意義

Nemotron 3.5は、プロンプトによる即時の出力制御と、微調整による本格的な専門化をつなぐ。まず指示で試し、専門用語、アクセント、表記規則への要求が高まった段階でGranary v2と学習ツールを使うという導入手順を取りやすい。

モデルはHugging FaceとModelScopeで提供されている。量子化版はローカル実行向けに予定され、大規模な処理はデータセンターGPUにも展開できる。授業の録画、会議分析、多言語コミュニケーション、医療記録などで、単なる文字起こしAPIより柔軟な音声基盤になり得る。

出典：Hugging Face Blog