音声LLMは行動する前に聞き分けられるか？VGBenchが文脈ゲートを検証

導入

音声アシスタントの失敗は、言葉を聞き間違えることだけではありません。内容を正しく認識したにもかかわらず、それがアシスタントに向けられた発話ではないと判断できず、ツールを実行してしまうことも重大な問題です。複数人がいる環境では、ユーザーが他人に話しかけたり、独り言を言ったり、遠くの人が同じ命令を発したりします。エージェントには、応答や実行の前に「自分が呼びかけられたのか」を見極める能力が必要です。

論文「Do Audio LLMs Listen Before They Act?」は、この判断を行動レベルで測るVGBenchを提案しました。

主なポイント

• 音声認識ではなく、行動選択を評価。 VGBenchは1,018件の診断サンプルで構成され、行動を「沈黙」「ツール呼び出し」「自然言語による回答」に統一しています。これにより、聞き取った内容を適切な行動へ結び付けられるかを調べます。
• 誤作動しやすい3種類の場面を収録。 傍話、独り言、話者切り替えを扱います。切り替えペアでは指定された語句を固定し、音源、距離の音響表現、時間的境界だけを変えて、装着者から傍観者への移行を制御しています。
• 未学習モデルは「止まる」ことが苦手。 6つの生Audio LLMと3つの学習不要な適応法は、対象ツールを特定することが多い一方、話者切り替え後に行動を抑えることはほとんどありませんでした。生モデルで最も高い切り替え時ミュート率は14%です。
• 追加学習でゲート機能が改善。 VoxGateを使った事例では、教師あり学習により切り替え命令の91.3%をミュートし、近距離の装着者命令とテキストのみの制御ではすべて正しいツールを選びました。探索的なGRPOでは、傍話の正解率が68.4%から70.9%、独り言のミュート率が52.0%から60.0%に上がりました。

意義と影響

VGBenchの重要性は、「自分に向けられた発話か」という曖昧な製品課題を、診断可能な評価課題へ変えた点にあります。結果は、行動ゲーティングが単純な話者識別だけではないことを示しています。音源の変化、距離、時間的境界、会話の文脈を組み合わせて判断する必要があります。

因子分解した制御実験では、音源変更そのものに独立した効果が確認されました。一方、遠方音の操作への感度は音響レンダリングによって異なります。実環境では、ある録音条件で成功したモデルが、別の空間表現でも同じように振る舞うとは限りません。

スマートスピーカー、イヤホン、ツール利用型音声エージェントにとって、沈黙は能力の欠如ではなく安全な行動です。今後は、何を聞き取ったか、どのツールを選んだかだけでなく、誰に向けられた発話かを判断し、不確かなときに行動を控えられるかも評価する必要があります。

出典：Hugging Face Daily Papers