AuK、音声生成と編集を統合するオープンソース基盤モデル

導入

音声AIの用途は、文章を読み上げるだけの音声合成から、既存音声を自然言語で編集する段階へ広がりつつあります。特定の語句を置き換える、話し方を変える、不要な音を抑える、音響的な特徴を調整するといった処理を一つの流れで行えることが、実用上の重要な課題になっています。AuK Technical Reportは、自然言語の指示と音声コンテキストを共通インターフェースにするオープンソース基盤モデルを提案しました。

主なポイント

• 五つのタスク群を統合。 対象は音声生成、内容編集、音声の強調・分離、副言語情報の編集、音響編集です。テキストから音声を作るだけでなく、入力音声の一部を保ちながら指定された要素を変更することを狙います。
• 大規模な指示・音声学習。 報告では約30.3億件の指示・音声インスタンスと、実効195万時間の教師信号を構築したとされています。ただし、提供された素材にはデータの内訳やライセンスの詳細がないため、これらは全体の学習規模として捉えるべきです。
• 意味と音響を分担。 マルチモーダル大規模言語モデルが意味的な条件付けを担い、音声・一般音声・音楽で共同学習したVAEが音響的な条件を表現します。生成器には混合型Rectified Flow Transformerを採用し、双ストリームのMMDiTブロックから統合された単一ストリームDiTブロックへ接続します。
• 複数段階の学習。 まず生成だけでウォームアップし、その後、生成と編集を同時に学習します。さらに、自由度の高い編集には人間フィードバックに基づく選好最適化、音声生成には報酬ベースの強化学習を適用しています。
• 高速推論版を用意。 一貫性初期化とタスクルーティング型のDecoupled DMDで蒸留し、AuK-Flashを作成しました。AuK-Flashは分類器フリーガイダンスなしの4ステップ推論に対応し、報告された同一条件では完全版より実時間速度が4.5倍向上したとされています。

意義と注意点

AuKの特徴は、生成と編集を別々の専門ツールとしてではなく、同じ指示体系で扱おうとする点です。制作現場では、話者の特徴を保ちながら台詞や表現を変更したり、背景音を処理したりする作業を自然言語で指定できる可能性があります。研究面では、言語による意図の指定と、音声に固有の連続的な音響情報を同じ生成システムで結び付ける設計例にもなります。

一方、概要だけから性能を過大評価することはできません。完全なベンチマーク、対応言語、モデル規模、データの利用条件、競合モデルとの詳細比較は示されていません。「先行する」「競争力がある」という評価も、実際の測定条件と併せて確認する必要があります。特に編集では、話者性のずれ、意図しない内容変更、音声アーティファクトが生じないか、また高速版が品質と速度をどう交換しているかが重要です。

AuKは、単機能の音声合成から、指示に応じて音声を生成・加工する基盤モデルへの移行を示す取り組みです。今後は、開発者がどこまで再現できるか、そして広いタスク範囲で品質を安定させられるかが、実用性を判断する鍵になります。

出典：Hugging Face Daily Papers