ASR幻覚はどこで始まるのか：エンコーダー最終段が重要な境界に

導入

自動音声認識の誤りは、単なる聞き間違いとは限らない。入力された音声に含まれない内容を、文法的に自然で流暢な文章として出力する場合がある。こうした現象はASRの幻覚と呼ばれる。出力が読みやすいほど、明らかな文字化けよりも利用者が信じやすい点が問題になる。

arXivで発表された研究は、特定の幻覚文がどのように生成されたかを直接追うのではなく、より基礎的な問いを立てた。エンコーダーのどの位置で音声による制約が弱まり得るのか、また抽象的な音響表現がデコーダーに読めるテキスト情報へ変換されるのはどこなのか、という問いである。

主な発見

• 2種類の認識アーキテクチャを比較。 独立に学習した2つのConformer-Large認識器を調べ、一方にはCTC、もう一方にはRNN-Tを用いた。環境劣化に加え、話者や背景が変化する条件でも評価した。
• 最終エンコーダー段が重要な境界に。 最後のエンコーダーブロックを迂回すると、ほぼすべての発話で出力が大きく逸脱した。一方、中間ブロックを迂回しても影響は比較的小さかった。エンコーダーの各深さが同じ役割を担うわけではなく、最終段が音響表現をテキストに関係する構造へ整理している可能性を示す。
• 表現が圧縮され、文字情報が明確になる。 この段階では表現がよりコンパクトになり、学習済みデコーダーがそこからテキストを読み取れる。また、書記素に関係する情報も明示的になる。
• 破壊しても流暢な幻覚にはならない。 最終段への介入で生じたのは、主に文字化けや反復出力だった。自然な文章でありながら音声と無関係な、典型的な幻覚がそのまま生成されたわけではない。

意義と限界

この研究が強調するのは、最終段の失敗を幻覚の完全な原因とみなしてはいけないという点だ。より正確には、音声に十分接地した出力をエンコーダーが作れなくなることが、幻覚に至るための機械的な前提となる。そこから流暢な創作的出力に変わるには、デコーダーの傾向、言語的な事前知識、入力品質、推論手順など、別の要因も関わる可能性がある。

この見方はモデル診断に役立つ。ノイズや分布変化による異常をシステム全体の問題として扱うだけでなく、エンコーダーの各段階で音声の証拠が保持されているかを調べ、特に最終段の安定性を監視できるからだ。CTCとRNN-Tの双方で似た依存関係が確認されたことは、この特徴が特定のデコード方式だけに固有ではない可能性も示している。

ただし、最終ブロックを修正すれば実運用上の幻覚がすべて消える、という結論ではない。音声との接地が弱まった状態から、なぜ流暢な架空テキストが生じるのかという全過程も未解明である。現時点では、最終エンコーダー段を「信頼できる認識」を支えるゲートとして捉えるのが妥当だろう。

出典：arXiv