音声・オーディオ

Fish AudioのオープンソースモデルDrama 3は、音声クローンだけでなく、自然言語による演技指示、複数キャラクターの吹き替え、テイクの修正、音声の部分編集、ストリーミング生成を一つにまとめます。

Appleは、パーソナライズド音声スタートアップHuxeの一部従業員に採用を申し出て、知的財産の非独占ライセンスを受ける契約を欧州委員会に開示した。AIポッドキャストへの布石とも考えられるが、具体的な製品計画は明らかになっていない。

端末上で動くカスケード型音声エージェントが、音声認識の途中結果から必要なツール呼び出しを予測し、ユーザーが話している間に処理を始める手法が提案された。結果をキャッシュすることで、応答開始までの待ち時間を短縮する。

Stability AIは画像生成中心の事業から、音楽のプロ向けAIツールへ軸足を移そうとしている。ソニー、ワーナー、ユニバーサルから資金と学習用カタログのライセンスを得た。

YuE2は、旋律とコードを記述した読みやすいスコアを先に作り、その計画をボーカルと伴奏を含む完成曲へ変換する。記号的な作曲と音声生成を一つのモデルで接続し、編集可能性と音楽性の両立を目指す。

StepAudio 3 Realtimeは、「聴く・会話する・考える・行動する」という連続ループを中心に設計された音声言語基盤モデルです。深い音響理解、全二重対話、発話中の並列推論、非同期ツール実行を組み合わせています。

Google DeepMindは、リアルタイム音声対話、視覚的な文脈理解、並列推論、バックグラウンドでのツール実行を強化したGemini 3.8 LiveとExtended Thinkingを発表しました。開発者向けAPIのほか、Workspace、Search、Geminiの各サービスで順次展開されます。

Googleは多言語AIを単なる文字翻訳から、声の調子や感情、コードスイッチング、地域ごとの話し方まで理解する方向へ広げようとしている。音声モデル、地域コミュニティとのデータ収集、端末上で動くAIを組み合わせる取り組みだ。

X-AuTは、音声大規模言語モデルの音声エンコーダーを段階的に圧縮するフレームワークです。行動プローブと表現アライメント、クロススケール蒸留を組み合わせ、剪定後に起きる文字欠落や早すぎる終了を抑えます。

小米が、複数人の発話が重なる環境を対象とした産業級のターゲット話者音声認識モデル、CocktailASR-1をオープンソース化しました。単純なノイズ除去ではなく、先に聞きたい話者を指定し、その人物の発話だけを認識するアプローチです。

Brain2Semantics2Textは、文レベルのMEG応答をまず意味埋め込み空間へ写像し、その後に自然言語へ変換する。音素や単語を逐一復元する代わりに、文全体の意味を優先するアプローチだ。

インドの音声ストーリープラットフォームPocket FMは、年換算売上ランレートが1年間で倍増し、5億ドルに達したと発表しました。全カタログの93%、新規コンテンツの99%でAIを活用していますが、物語の核となる創作は人間が担っています。

AuKは、自然言語の指示と音声コンテキストを共通インターフェースとして、音声生成、内容編集、分離、表現編集、音響編集を扱う基盤モデルです。蒸留版のAuK-Flashは、少ない推論ステップで高速化を目指します。

OpenAIのGPT-Liveは、遅延に敏感なメディア処理と推論を、ツール利用やタスク委任、永続化などのアプリケーション処理から分離する設計を採用しています。状態を持つセッションの移行、WebRTCの改良、実トラフィックを使ったサイレントテストによって、会話の連続性と拡張性の両立を目指します。

音声入力と無関係なのに流暢な文章を生成するASRの「幻覚」について、新たな研究がその発生条件を分析した。エンコーダーの最終段は音声情報をテキストとして読める形に整える重要な位置だが、そこを壊すだけで自然な幻覚が生じるわけではない。

Microsoftの研究チームは、音声認識と話者帰属を一つのストリーミングモデルに統合したVibeVoice-ASR-Streamingを発表した。音声が届くたびに、話者情報付きの文字起こしを継続的に生成する。

生成AIによる音楽制作が容易になる一方、電子ダンスミュージックの現場では、誰が曲を作ったのかをめぐる不信感が広がっている。音の違和感や映像の異常を手がかりに、ミュージシャンが疑わしい作品を調べ始めた。

LibriBrain100は、32人が自然な連続音声を聞いている間に収録した100時間超のMEGデータを提供する。1人からの深いデータと、多数の参加者による広いデータを組み合わせ、再現可能な神経音声デコーディング評価を目指す。

Alibabaは、音声認識、音声合成、音声コンテンツ生成、リアルタイム音声エージェントを統合する CosyVoice Studio を発表した。注目点は、単なる文字起こしや読み上げではなく、音声ワークフローに意味理解を組み込んだことにある。

AI生成楽曲の急増と著作権訴訟の圧力を受け、Sunoは生成音声への不可視ウォーターマーク付与とダウンロード制限を進める方針を示した。これはAI音楽サービスが、単なる生成能力ではなく出所管理と悪用対策を問われる段階に入ったことを示している。

SwanTale は、単なるテキスト読み上げではなく、複数話者、話し方、環境音、効果音をまとめて扱う音声生成モデルを目指している。指示文による生成と、参照音声を使うゼロショット生成の両方を対象にしている点が特徴だ。