Omni-InteractScopeが示すマルチモーダルAIの能動的対話の限界

はじめに

映像や音声を継続的に観察するAIアシスタントに求められるのは、質問に答える能力だけではない。いつ介入すべきか、何を実行すべきか、さらにその後もフォローすべきかを判断する必要がある。従来の評価は単発の質問応答に偏っており、リアルタイム環境でのタイミング、能動性、継続性を十分に測れていなかった。

論文「Omni-InteractScope」は、この不足を埋めるためのベンチマークを提案する。入力モダリティ、イベントのトリガー、介入の種類、ユーザーのニーズを結び付け、継続するストリームから得た証拠を、適切なタイミングで持続的な応答に変換できるかを検証する。

主なポイント

• 現実的な対話範囲を設定。 ベンチマークは、人手注釈と相互レビューを経た1479件の対話、1790件の時間的ターゲットで構成され、8つのタスク群を含む。明示的な質問への回答だけでなく、通知、警告、状態追跡、継続応答、質問なしの支援、イベントに合わせたツール呼び出しも対象にする。
• ツール呼び出しのタイミングが不安定。 評価した12モデルのうち、ツール呼び出し対象に対して時間内に最初の応答を返せた割合が40％を超えるモデルはなかった。タイミングとツールの正しさを同時に求める指標でも、最高値は32.0％にとどまった。「ツールを使えること」と「正しいイベント時に使うこと」は別の能力である。
• 質問なしのリマインダーが弱い。 すべてのモデルで、質問なしのリマインダーにおける適時の参照ターゲット再現率は、明示的な質問より低かった。リマインダー再現率は最高でも23.0％で、関連情報を捉えていても、ユーザーに自発的に知らせるべきだと判断できない場合が多い。
• 一連の案内を完遂できない。 26本の案内シーケンスについて、9モデルは完全に達成したものがゼロだった。残る3モデルも、完全にカバーできたのは1〜3シーケンスに限られた。個々の返答が自然でも、状態を保持しながら後続行動を続けることは難しい。
• ツール成績だけでは根拠付けを証明できない。 対照実験では、ツール呼び出しのスコアだけでは、モデルが正しいイベントを根拠に行動したとは言えないことが示された。リマインダーのカバレッジは応答履歴や頻度にも左右されるため、単一指標では不十分である。

意義と影響

この研究は、評価の問いを「正しく答えられるか」から「変化する環境で適切に行動できるか」へ広げる。ウェアラブル、車載アシスタント、リアルタイムの伴走システム、実体を持つエージェントでは、早すぎる介入は煩わしく、遅すぎる介入は価値を失う。最初のイベントを見逃せば、その後の案内全体が崩れる可能性もある。

今後のストリーミングアシスタントには、イベントの特定、介入タイミング、ユーザーニーズの推定、通知頻度の制御、状態を保ったフォローアップが必要になる。評価も単発の正解率ではなく、適切な時点で現れ、正しい行動を選び、履歴を踏まえて継続し、最終的に目的をカバーできたかを測るべきだ。能動的知能とは、認識性能や長いコンテキストだけでなく、認識・判断・実行を確実につなぐ能力である。

出典：Hugging Face Daily Papers