Gander：連続マルチモーダル対話とエージェント推論を統合する構成

導入

現在の音声アシスタントの多くは、ユーザーが話し終えてから処理し、回答するというターン制を基本にしています。一方、複雑なエージェントは、知覚、計画、ツール呼び出し、出力生成を複数のモジュールに分けることが一般的です。『Omni Interaction Agent Technical Report』で紹介されたGanderは、これらを一つのエンドツーエンド構成にまとめようとする試みです。

Ganderは動画、音声、テキストをストリーミング入力として継続的に受け取ります。ユーザーはモデルの発話をいつでも中断でき、モデル側も処理の途中で進捗を伝えたり、追加質問をしたりできます。これは、完成した発話を一度に処理する方式から、より自然な全二重対話へ移行する設計です。

主なポイント

• 継続的なマルチモーダル入力：入力を完結したターンとして待つのではなく、動画、音声、テキストの流れを処理します。
• CerebellumとBrainの協調：Cerebellumは低遅延の応答とオムニ対話を担当し、Brainは複雑な推論や高次のエージェントタスクを担当します。両者はツール呼び出しとエージェント実行基盤を介して連携します。
• ストリーミングThinker-Talker：Cerebellumでは、ユーザー入力とモデル出力をチャンク単位の順序付きトークン列に平坦化します。入力と応答を同じ流れで扱い、連続的な処理を支える狙いです。
• 四つの評価軸：対話能力、オムニ理解、インタラクション能力、エージェント知能を評価します。資料には内部の人手評価への言及がありますが、具体的なデータセット、指標、比較値は示されていません。

意義と残された課題

Ganderの重要性は、単に音声や視覚を追加した点にあるのではありません。対話の時間構造そのものを見直そうとしている点にあります。従来のパイプラインでは、音声認識、推論、ツール実行、音声出力が順番に進みます。そのため、途中での割り込みや追加質問には遅延が生じやすく、各モジュール間で状態を受け渡す必要もあります。

Ganderでは、Cerebellumが会話のテンポを維持し、Brainが計画、推論、ツール利用を進めます。理論上は、長いワークフローを処理している間も、ユーザーに中間状況を返せます。リアルタイムの協業、画面や環境の理解、複数回の確認を要する業務自動化などに応用できる可能性があります。

もっとも、設計の詳細には不明点も残ります。二つの構成要素が状態をどのように同期するのか、モデルがいつ自発的に話すべきか、割り込みがツール実行にどう影響するのか、遅延や計算コストがどの程度なのかは、提供資料からは判断できません。したがってGanderは、全二重エージェントに向けた有力な構成提案として注目されますが、優位性が数値で十分に検証された最終解とはまだ言えません。

出典：Hugging Face Daily Papers