Duplex-MPE、全二重音声アシスタントが「話すべき時」を評価

導入

複数人が話している場面で、音声アシスタントに必要なのは、質問へ答える能力だけではありません。その発言が自分に向けられたものなのか、今は割り込むべきなのかを判断する必要があります。早く話しすぎれば会話を遮り、黙りすぎれば役に立たないシステムになります。聞きながら話せる全二重音声モデルにとって、参加のタイミングを選ぶ能力は、流暢な音声生成と同じくらい重要です。

北京大学の研究チームは、この課題を調べるベンチマークとしてDuplex-MPEを提案しました。従来の一対一に近い音声対話ではなく、複数人が共有する会話へアシスタントを置き、必要な時だけ参加できるかを検証します。

主なポイント

• 複数人の会話を対象にする。 3人または4人の人間と1人のアシスタントが登場する2000シナリオを収録し、同じ依頼を「明示的に呼びかける場合」と「暗黙的に表現する場合」に分けています。
• 入力は連続音声のみ。 文字起こしも発話区間の情報も与えられません。モデルは、誰が話しているのか、依頼が自分に向けられたものか、発話に入る適切な瞬間かを自ら推測します。
• 4つの能力を個別に測る。 新たな応答の開始、回答の正確さ、発話すべきでない時の沈黙、そして人間が依頼を解決した後に話し続けない能力を評価します。
• 発話回数は品質そのものではない。 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omniの5つのオープンウェイト音声システムを比較し、MiniCPM-o 4.5は4能力のうち3つで首位になりました。一方、他のシステムには、頻繁に発話するものの回答が不正確だったり、沈黙を保てなかったりする例がありました。
• 参照モデルとの差も明確です。 文字起こしを使うGemini 3.1 Proの参照システムは、明示的な依頼に対する応答率が暗黙的な依頼より64.3ポイント高くなりました。音声システムでは、応答率に有意な差は確認されませんでした。

意義と影響

既存の音声ベンチマークは、指定されたユーザーとのターン交替、中断処理、複数ラウンドの対話を中心に評価してきました。しかし共有空間では、その前に「アシスタントが発言権を持っているか」という判断があります。Duplex-MPEは、話さないことを積極的な能力として扱い、さらに人間が問題を解決した後に止まれるかも評価します。会議、家庭、車内などの実利用に近い視点です。

この設計は、応答頻度を性能の代わりにすることの危うさも示します。何度も割り込むシステムは反応が速く見えても、会話には干渉します。反対に慎重すぎるシステムは、助けを求められた瞬間を逃します。実用的な全二重アシスタントには、音声認識だけでなく、話者や指示対象の理解、応答するかどうかの判断、生成を即時に止める制御が必要です。

明示的な依頼と暗黙的な依頼を対にする設計は、モデルが単語へ反応しているだけなのか、それとも呼びかけ先と会話意図を理解しているのかを調べるうえで有効です。研究チームはデータとコードの公開を準備中としています。今後の音声モデル評価は、「人間らしく話せるか」から「集団会話に節度を持って参加できるか」へ広がる可能性があります。

出典：Hugging Face Daily Papers