逐語起こしを制御可能にするASR研究：転写ポリシーを潜在変数として扱う

導入

音声認識（ASR）は単に「話された内容を文字にする」技術として語られがちだ。しかし実際の運用では、同じ発話でも書き起こし方が複数存在する。言い淀み、繰り返し、言い直しを残す逐語転写もあれば、読みやすい文章に整える意図転写もある。nyra labs の論文は、この違いが多くのASRモデルで明示的に管理されておらず、性能評価やタイムスタンプ品質を乱す要因になっていると主張する。

主なポイント

• 問題は単なる誤認識ではない：モデルが異なる注釈方針のデータで学習すると、逐語的に出すべきか、整えた文として出すべきかが曖昧になる。その結果、同じ音声に対して出力スタイルが揺れやすくなる。
• WER評価が歪む可能性：要旨では、報告されるWERの最大60%が転写スタイルの不一致に起因し得るとされている。つまり、数値上の誤りの一部は音声認識能力の不足ではなく、参照テキストの方針とのズレかもしれない。
• モデルは両方のスタイルを内包している：著者らの見方では、現代のASRモデルは逐語転写と意図転写の両方をある程度すでに表現している。課題は、それを安定して呼び出す制御手段である。
• タスクトークンによる制御：研究では、逐語/意図転写の並列ペアを使い、coverage-aware なデコーダタスクトークンを学習する。英語のみで学習したにもかかわらず、ドイツ語の非流暢性F1を10%から79%へ引き上げたと報告されている。
• 単語レベルの時刻情報も改善対象：言い淀みや言い直しを含む音声では、単語単位のタイムスタンプが不安定になりやすい。論文は教師あり cross-attention 微調整を導入し、強制アライメントのベースラインを上回る改善を示したとしている。
• verbatimize タスクの提案：高品質で標準化された逐語転写を持つ音声コーパスを大規模に作成・拡張するための新しいタスクとして、verbatimize も提案されている。

意義と影響

この研究は、字幕、会議録、医療記録、音声データ注釈、TTS向けデータ作成などに関係する。読みやすい意図転写が必要な場面もあれば、監査、臨床、言語研究、学習データ整備のために逐語性が重要な場面もある。ASRが両者を切り替えられるなら、同じモデルをより多様なワークフローに適用しやすくなる。

また、評価指標の見直しにもつながる。参照データが複数の転写方針を混在させている場合、単一のWERだけではモデル能力を正確に比較できない。転写ポリシーを明示することは、今後の音声認識ベンチマークやデータセット設計において重要な論点になりそうだ。

出典：Hugging Face Daily Papers