科大訊飛、音声AIとエッジモデルを発表　「聞く」から空間理解へ

導入

大規模モデルが自動車、ロボット、スマートホームなどに組み込まれると、音声対話は静かな場所で一人が質問するだけのものではなくなる。複数人の発話、環境ノイズ、割り込み、話者の位置、端末をまたぐタスクを同時に扱わなければならない。科大訊飛は10月22日、こうした現実空間の課題を意識した音声、クラウド・エッジ、身体性インタラクションの技術をまとめて発表した。

主なポイント

• 文字起こしから音そのものの理解へ。 SparkAudio 1.0は音声認識、同時通訳、音声対話に加え、複雑な音声理解、感情認識、リアルタイム話者分離、環境音理解に対応する。従来の「ノイズ除去・認識・言語処理・音声合成」という構成では失われやすかった話し方、話者の違い、周囲の音を、より一体的に扱う方向だ。
• 端末側の役割を拡大。 Spark-X2.6-4Bは約41億パラメーターで、最大約100万Tokenのコンテキストに対応する。長文理解、ツール呼び出し、エージェントタスクを強化し、訊飛によれば一部の端末ソリューションはクラウド能力の約70%に達するという。単純で頻度の高い処理や機密性の高い処理は端末で、複雑な処理はクラウド、または両者の協調で実行する。
• 空間を理解するインタラクション。 全方位カメラと円形マイクアレイを組み合わせ、360度の空間で複数の音声を処理する。訊飛は、複数人の会話で混線率を1.7%未満に抑え、最大5人の同時対話でリアルタイム分離率87%を実現したと説明している。ロボット向けには、音源位置、人物の意図、視覚情報、動作計画の統合も進める。
• 端末をまたいだ会話。 クラウド上のAgentが文脈とタスク状態を管理し、テレビ、スマートフォン、スピーカーなどの間で会話の継続やタスク連携を可能にする構想だ。プラットフォームは40以上の言語に対応し、30言語では事前の言語選択なしに音声対話ができるとしている。

意義と課題

今回の発表は、音声アシスタントの定義が変わりつつあることを示す。重要なのは「何を話したか」だけでなく、「誰が、どこから、どのような環境で話し、次にどの端末が動くべきか」を判断することだ。エッジモデルの進化は、遅延やプライバシー、通信依存の低減に寄与する可能性がある。一方、複数人環境での安定性、端末間の文脈管理、複雑な操作における責任分界は、実運用で検証する必要がある。

音声AIの競争は、認識精度だけでなく、空間・文脈・端末協調を一体として理解できるかどうかへ移っている。

出典：InfoQ 中文