Qwen-Audio-3.1-ASR、文字起こしから話者別・音声理解へ

導入

音声認識の役割は、話された言葉をテキストに変換することだけではなくなりつつあります。会議やインタビューの記録では、誰がいつ話したのか、複数人が重なって発話したか、音声の中にどのような環境音が含まれるかまで把握できることが重要です。Qwen-Audio-3.1-ASR Technical Reportは、このような要求を意識した音声言語モデルのファミリーを紹介しています。

本モデルはQwen-Audio-3.0-ASRを基盤に、音声認識を改善するとともに、話者分離付き文字起こしと汎用音声理解へ範囲を広げています。単一のモデル構成だけでなく、ファイル処理、低遅延ストリーミング、対話的な音声入力、非ストリーミング認識など、異なる利用形態を想定した複数のバリエーションが示されています。

主なポイント

• 多言語・方言対応：30言語と16の中国語方言を引き続きサポートします。
• 指示による認識制御：過去の会話や文脈を与える履歴コンテキスト、重要語を階層的に指定するホットワード設定、認識結果の推敲を利用できます。
• 構造化された話者別文字起こし：話者ラベル、タイムスタンプ、認識テキストを含む出力を生成し、会話の途中でも話者ラベルの一貫性を保つことを目指します。重複発話も表現対象です。
• 汎用音声理解：音声・発話・音楽のキャプション、時間的グラウンディング、音イベント検出、音声質問応答、選択式推論を扱います。
• 用途別の構成：非同期ファイル処理、低遅延ストリーミング、対話型入力、非ストリーミング認識に対応する構成が用意されています。ただし、話者分離や汎用音声理解は一部のバリエーションに限られます。

意義

従来の音声処理では、まずASRでテキストを作り、その後に話者分離、イベント検出、時間情報の付与、要約などを別々のシステムで実行する構成が一般的でした。Qwen-Audio-3.1-ASRは、これらを音声言語モデルの共通インターフェースに近づけようとしています。

話者ラベルをターンをまたいで維持できれば、匿名の文章列よりも会話記録の確認や検索が容易になります。タイムスタンプは、生成された内容を元音声へ戻るための手掛かりになります。また、実際の会話では発話が完全に交互になるとは限らないため、重複発話を扱う設計も現実的な記録に関わります。

履歴コンテキストとホットワード制御は、専門用語や製品名が多い業務で有用になり得ます。さらに、認識結果の推敲をモデル自身に行わせることで、文字起こしを読みやすい文面に整える工程を短縮できる可能性があります。

汎用音声理解の追加は、会議記録以外にも用途を広げます。音声や音楽の説明、特定の音が発生した時間の特定、非言語的な音イベントの検出、録音内容への質問応答などが想定できます。ただし、素材で示されているのは機能範囲と評価対象であり、具体的なスコア、モデル規模、遅延、計算資源は確認できません。

今後の確認点

このモデルファミリーを評価する際には、変種ごとの性能差、長時間音声への対応、雑音や強い訛りへの頑健性、話者ラベルの一貫性、重複発話の扱い、リアルタイム運用時のコストを確認する必要があります。現時点では、単なるASRの更新というより、音声を構造化し、質問や分析まで行う方向への拡張と捉えるのが適切です。

出典：Hugging Face Daily Papers