Qwen-Music 技術報告：旋律を先に計画するフルソング生成モデル

導入

Qwen チームは「Qwen-Music Technical Report」を公開し、完全なボーカル歌唱を含む楽曲生成モデル Qwen-Music を紹介した。短い音声クリップや伴奏だけではなく、歌詞、旋律、声、編曲、構成を含むフルソング生成を狙っている点が大きな特徴である。

主要ポイント

• 二つの中核タスク：一つは Text to Music Generation で、テキスト説明、歌詞、音楽属性から新しい楽曲を生成する。もう一つは Cover Song Generation で、既存曲を参照しながら、異なるスタイルやボーカル特性で再解釈する。
• 三段階の構成：Qwen-Music-Tokenizer は音声を 25 Hz の単一コードブック Music Semantic Tokens に圧縮し、意味情報と旋律情報を保持する。Qwen-Music-LLM はそのトークン列を自己回帰的にモデリングする。最後に Qwen-Music-Render が、離散的な意味表現を高品質なステレオ波形へ変換する。
• Melody-CoT：報告で最も目立つ工夫は、旋律トークンに基づく chain-of-thought 型の仕組みである。モデルは楽曲全体をいきなり生成するのではなく、まず旋律を計画し、その後に完成形へ展開する。この設計により、創造性、音楽性、構造的一貫性、参照音声に基づく旋律クローニングの改善を狙う。
• 大規模多言語データ：Qwen-Music-LLM は、数百言語を含む 500 万時間超の音楽データで訓練されたとされる。訓練では品質を考慮した事前学習カリキュラムに加え、教師あり初期化、オフライン DPO、オンライン GSPO を含む段階的な後処理学習が使われている。

意味と影響

音楽生成では、単に音が自然であるだけでは不十分だ。長い尺の中で、旋律、歌詞、ボーカル、リズム、アレンジ、楽曲構成を破綻なく保つ必要がある。Qwen-Music の設計は、LLM に適した圧縮された音楽意味表現で計画し、別のレンダリングモジュールで音響的な細部を補うという分業を採っている。

報告によれば、600 件の中国語・英語プロンプトに対する評価で、Qwen-Music は 16 個の客観的な音楽性・音質指標のうち 13 個で最先端の結果を達成した。また、専門評価者も主要なプロプライエタリシステムより Qwen-Music を好んだとされる。カバー生成では、参照曲の旋律をより正確に保持できるという主張も示されている。

一方で、素材にはモデル重みの公開予定は書かれていない。コメント欄でもオープンソース化を尋ねる声があるため、現時点では実利用可能なオープンモデルというより、技術的方向性を示すレポートとして見るのが妥当だ。今後、重み、デモ、再現可能な評価が公開されれば、AI 音楽生成分野で重要な比較基準になる可能性がある。

出典：Hugging Face Daily Papers