Fish Audio Drama 3、音声生成を「演技のディレクション」へ拡張

概要

従来のテキスト音声変換は、文章を指定した声で読み上げる一回限りの処理として利用されることが多くありました。Fish AudioのDrama 3は、この前提を広げようとしています。技術報告によれば、このオープンソースモデルは文章を単なる読み上げ音声ではなく、演出されたパフォーマンスへ変換することを目指しています。声質だけでなく、演技の指示、会話の流れ、複数人物の関係、生成後の修正まで同じモデルで扱う設計です。

主な機能

• 複数参照音声による声の再現：一つのサンプルだけでなく、複数の参照音声を使って対象となる声の特徴を捉えます。
• 自然言語による演技指示：通常の言葉で演技の方向性を伝え、生成に反映させます。提示された素材には具体的な指示例や対応範囲の詳細がないため、実際の制御性能は公開デモや検証で確認する必要があります。
• 多ターンの修正：一度生成したテイクに対して、次のターンで修正指示を与えられます。録音現場で「もう少し抑えて」「別の調子で」と指示して録り直す流れに近い発想です。
• 複数キャラクターのシーン吹き替え：単独話者のナレーションだけでなく、会話やドラマの場面を対象にします。
• 部分編集とストリーミング：既存音声の一部をインフィリングで置き換え、長尺音声やストリーミング入力にも対応します。

アーキテクチャと速度

Drama 3は、総計350億パラメータのMixture-of-Expertsバックボーンを使い、各トークンでは約30億パラメータを稼働させます。モデル全体の容量を保ちながら、各ステップの計算量を抑える考え方です。基盤にはハイブリッド線形アテンションを用い、音声側にはコードブックを対象とする新しいマルチトークン予測デコーダーを組み合わせています。専用の層が各フレームの音響コードブックを予測し、シーケンス全体を参照します。

報告の概要では、H200一台で単一ストリームを毎秒271フレーム処理でき、比較対象のFish Audio S2は177フレームとされています。Drama 3はS2の7倍を超えるパラメータを持つため、モデル規模が大きければ必ず推論が遅くなるわけではないことを示す比較です。ただし、フレーム速度は実際の遅延やリアルタイム倍率と同一ではありません。音声表現、文脈長、バッチ処理、運用設定も体験を左右します。また、素材には詳細な聴取評価やデータ規模が示されていないため、音質を数値だけで判断するべきではありません。

意義と注意点

Drama 3の意義は、音声生成を一回限りの出力から、修正可能な演技ワークフローへ近づけた点にあります。オーディオブック、ゲームの台詞、短編ドラマ、吹き替え、対話型キャラクターでは、声の同一性、役柄、演出、部分修正を一つの仕組みで扱える可能性があります。一方で、声の無断利用、なりすまし、同意、生成音声の表示といった課題も重要になります。

モデルの重みはGitHubとHugging Faceで公開され、SGLang-Omniから推論できます。今後は完全版の技術報告と第三者評価が必要ですが、公開概要からは、オープンな音声モデルの競争軸が「声を生成できるか」から「指示を受け、修正しながら一つの演技を完成できるか」へ移りつつあることが読み取れます。

出典：Hugging Face Daily Papers