Confucius4-R2T2、過去の文字列を書き換えないストリーミング音声認識

概要

ストリーミング音声認識では、テキストを早く表示するだけでは十分ではありません。後から音声が追加されるたびに、すでに表示した単語や文章を修正するシステムでは、音声エージェントや翻訳システムが処理した内容を取り消したり、同じ計算を繰り返したりする可能性があります。人が画面を見るだけなら許容できる変更でも、認識結果をそのままアクションにつなげる機械にとっては大きな負担です。

NetEase YoudaoのConfucius4-R2T2は、この「確定前の書き換え」を減らすことに焦点を当てたストリーミングASRモデルです。入力の途中でも、後から変更されない部分だけを出力し、確定済みの履歴を保ったまま認識を進めます。

LSPが担う役割

中心となる概念は、Longest Stable Prefix（LSP、最長安定プレフィックス）です。現在までに入力された音声に対して、完全な音声を聞き終えた場合の出力と整合し、後続の音声によって覆されない最長のテキスト部分を選びます。音声が増えると、この安定部分は維持されるか長くなりますが、短くなって過去の出力を書き換えることはありません。

主なポイントは次の通りです。

• 追加専用の出力：一度出したテキストを変更せず、安定した履歴を形成します。
• 下流処理との相性：音声エージェントや同時通訳が、認識の完了を待たずに処理を開始できます。
• 構造変更が不要：LSPを追加学習の教師信号として使い、既存モデルの構造を変えずにストリーミング動作を学習します。
• チャンクサイズを設定可能：実装では音声チャンクの大きさを調整でき、応答性と文脈の量を選べます。

学習と評価の概要

R2T2はQwen3-ASR-1.7Bを基盤とし、中国語・英語の音声1,500時間で追加学習されています。学習時には、事前学習済みの音声エンコーダーとプロジェクターを凍結しています。つまり、音響フロントエンドを作り直すのではなく、部分的な音声からどの範囲を安全に確定できるかをモデルに学ばせる設計です。

提供された概要によると、ストリーミング時の認識品質はベースモデルの全コンテキスト出力に近く、出力遅延も小さいとされています。追加学習に使った言語以外にも効果が広がる可能性が示されていますが、素材には具体的な誤り率、遅延値、条件別の比較結果は含まれていません。実運用での性能は、論文本文や独立した検証で確認する必要があります。

意義

R2T2が示すのは、オフライン型の音声認識モデルを安定したストリーミング型へ移行する、比較的実用的な方法です。新しいネットワーク構造を設計する代わりに、いつ出力を確定してよいかを表す教師信号を変更しています。これにより、不確かな部分は待たせながら、信頼できる部分はすぐに下流へ渡せます。

この性質は、認識結果を表示するだけでなく、次の処理への入力として使うアプリケーションで特に重要です。ロールバック処理や状態管理を簡素化し、リアルタイム連携の予測可能性を高める可能性があります。モデルの重みとコード、デモは公開されています。

出典：Hugging Face Daily Papers