Heartbeat Thinking：聞きながら準備を進めるリアルタイム音声エージェント

導入

リアルタイム音声エージェントでは、ユーザーが話し終えるまでの時間をどのように使うかが応答速度を左右します。発話の途中で、検索条件や操作対象などの一部がすでに判明している場合でも、システムが全文の終了を待てば、その時間は単なる待機になります。そこで推測的に推論やツール実行を始める方法が考えられますが、新しい音声断片が届くたびに処理を止めると、ツールの引数が完成する前に呼び出しが切れてしまいます。

Heartbeat Thinking は、この問題を入力更新と実行中タスクの扱い方から解決しようとします。新しい転写を受け取っても、すべてを最初からやり直すのではなく、進行中の作業を保持しながら準備を続ける設計です。

主な仕組み

• 音声チャンクに処理を縛らない。 チャンク単位の生成や更新時の即時中断では、未完成のツール呼び出しが破棄され、聞いている間に行った計算を再利用できません。
• 周期的に Thinker を起動する。 入力が更新されても、実行中の Thinker やすでに送信されたツールは完了まで動作できます。同時に、新しい Thinker が最新の部分転写を読んで次の判断を行います。
• 共有記録を利用する。 新しい Thinker は部分転写だけでなく、完了した推論とツール結果を含む共有記録も参照します。これにより不足していた引数を補ったり、前段の結果に依存する呼び出しを開始したりできます。
• 聞いている時間を準備時間に変える。 準備を複数回の音声更新にまたがって継続できるため、ユーザーが話し終えた時点で検索やツール実行の一部がすでに終わっている可能性があります。

評価と限界

論文では SpeechFCEval、FDBench v3、AudioCRAG を用い、SHANKS 系のウィンドウ方式のベースラインと比較しています。Heartbeat Thinking は、ベンチマークによってツールカバレッジまたは検索結果の再利用を改善しました。一方、最終タスク品質への影響は一様ではありません。先に多く処理できても、最終回答の品質が自動的に向上するわけではないことを示しています。

FDBench v3では、ツールカバレッジが16ポイント上昇し、最終応答の平均遅延が36.4%減少したと報告されています。これは、音声エージェントの待ち時間がモデルの生成速度だけでなく、入力更新、並行実行、中間結果の管理にも依存することを示唆します。

意義

Heartbeat Thinking は新しい基盤モデルというより、エージェント実行基盤の考え方です。転写の更新を「古い処理を必ずキャンセルする合図」ではなく、「追加の思考を始めるきっかけ」として扱います。検索や複数段階のツール連携を使う音声アシスタントでは、重複計算を減らし、発話後の沈黙を短縮できる可能性があります。

ただし、推測実行には追加計算、誤った部分転写、古い結果や競合する結果の扱いという課題があります。実用化には、いつ Thinker を起動するか、どの処理を先行させるか、結果をどう統合するかという制御が必要です。それでも本研究は、音声を聞きながらタスクを段階的に完成へ近づけるための、明確な並行処理の枠組みを示しています。

出典：Hugging Face Daily Papers