「原子的な動き」で音楽からダンスを生成する新手法

導入

音楽からダンスを生成する技術では、単に人間らしい姿勢を作るだけでは不十分だ。音楽のリズムに合い、曲調や展開に沿い、ひとつの振付として自然に見える必要がある。近年のニューラル生成手法は見た目のリアリティを高めてきたが、この論文は、多くの手法が動作を連続信号として扱いすぎており、ダンスが本来持つ構成的な性質を十分に表現できていないと指摘する。

主要ポイント

• ダンスを原子的な動きの系列として表現：提案手法では、振付を意味的に解釈できる小さな動作イベントの連なりとしてモデル化する。これにより、フレーム単位の姿勢生成よりも高いレベルの構造を扱える。
• 動作語彙の構築：著者らは大規模なダンスデータを分割し、得られた動作断片をクラスタリングする。さらに大規模言語モデルを使ってクラスタの意味ラベルを付け直し、再利用しやすい原子的動作の集合へと整える。
• 二段階の生成プロセス：第一段階では、入力音楽に基づいて、どの動作を、いつ、どれくらいの長さで行うかを予測する。第二段階では、その計画に従って、遷移を考慮した生成器が滑らかでスタイルの一貫した身体動作を合成する。
• 解釈性と制御性の向上：中間表現が明示的な動作構造になっているため、生成されたダンスを理解しやすく、特定部分の編集もしやすい。

意義と影響

この研究の重要性は、ダンス生成を低レベルな運動の近似から、より編曲・振付に近い構造化された問題へ引き上げようとしている点にある。バーチャルアイドル、ゲームキャラクター、ショート動画制作、デジタルヒューマンの演出では、自然な動きだけでなく、曲の盛り上がりに合わせた構成や、後から修正できる操作性が求められる。

要旨だけでは、動作語彙の規模や学習設定などの詳細は分からないため、実際の汎化性能は本文で確認する必要がある。それでも、まず解釈可能な構造を計画し、その後に高品質な動きを生成するという設計は、音楽からダンスへの生成に限らず、テキストから動作生成や身体性を持つ AI の研究にも参考になる方向性だ。

出典：arXiv