聞く前にデコードする：推測リスニングが全二重音声モデルを高速化

導入

リアルタイム音声対話では、認識精度だけでなく、モデルがいつ応答生成を始められるかが重要です。多くの全二重音声言語モデルは、対話を一定時間のチャンクに分割して処理します。しかし、この方式では負荷が偏ります。音声を待つリスニング中は計算資源が余り、発話やツール呼び出しの段階ではトークンを逐次生成するため、応答がリアルタイムから遅れやすくなります。

中国・香港中文大学（深圳）の研究チームは、この空き時間を活用する Speculative Listening（推測リスニング） を提案しました。次の音声が到着する前に、入力を無音と仮定して次の出力を先に生成し、実際の音声が届いた時点で候補を検証します。

手法を支える観察

研究チームは4つのモデルについて、無音を仮定した場合と実際の音声を与えた場合の出力を比較しました。その結果、次の音声チャンクによって出力が変わらないケースは95.3%に達しました。また、出力が変化したケースの88%では、違いが最初の出力トークンから現れました。

この傾向を利用し、モデルはリスニング中に次のチャンクの草稿を生成します。最初のトークンで変更が起こりそうな場合は、確率順位が2番目の候補から別の分岐も作ります。生成した草稿はチャンクをまたぐ仮説プールに保存され、実音声が到着した後にまとめて検証されます。一致する部分は再利用し、不一致の部分だけを生成し直します。

この仕組みは追加学習を必要としません。推測結果をそのまま採用するのではなく、実際の入力に対して検証するため、最終的な出力を近似的に変更する手法ではない点も特徴です。

結果と意味

8タスクで構成されたTickTock-Benchでは、発話チャンクの処理速度が2.6～2.8倍になり、ツール呼び出しチャンクでは最大23.4倍の高速化が確認されました。応答開始前のデコード遅延は平均73%短縮され、74～241ミリ秒になりました。これは、人間の会話で示される約200ミリ秒の交替間隔に近い値です。リアルタイム進行に対する最大遅延も94.4%削減されました。

この研究が示すのは、低遅延化にはモデルの大型化や単純なハードウェア増強だけでなく、計算の配置を見直す方法もあるということです。音声アシスタント、リアルタイム翻訳、ツールを利用する音声エージェントでは、待機中の計算を応答準備に充てられます。

一方で、効果はチャンク設計、モデルの出力安定性、複数仮説の保持と検証コストに左右されます。それでも、「聞き終わってから考える」のではなく、「聞きながら準備する」全二重対話の実装に向けた、実用的な方向性を示す手法です。

出典：Hugging Face Daily Papers