Motion-Omni：対話モデルが発話と全身動作を同時に生成

導入

会話するアバターに必要なのは、文章を音声へ変換する機能だけではありません。話している内容やテンポに合わせて、表情、手振り、姿勢、下半身の動きも変化する必要があります。一般的な構成では、まず対話モデルが音声を生成し、その完成した音声を別の協調動作モデルへ入力します。しかしこのカスケード方式では、動作生成のためにもう一度フル推論が必要になり、発話と動作を同時に最適化することも困難です。

北京大学の研究チームが提案した Motion-Omni は、この分離を見直します。言語モデル、音声生成器、動作生成器を接続し、音声を生み出す隠れ状態から、発話と動作を同時に出力します。対象となるのは、顔の表情、手、上半身、下半身の動きです。

主なポイント

• 音声の後処理から同時生成へ：動作を完成済み音声だけから推定するのではなく、発話生成にも使われる内部表現から作ります。意味やリズムを共有しやすい設計です。
• 共同学習が不可欠：音声経路を固定して動作だけを学習すると、音声とのずれが残りました。LLM、Speech Generator、Motion Generatorを両方の目的で適応させることで、対話能力を保ちながら同期性を改善します。
• 疑似ラベルでデータを拡張：交換可能な動作教師モデルを使い、声質をそろえた音声応答へ動作ラベルを付与しました。その結果、品質順に整理された422,856組、計1,402時間のペアを構築しています。
• 評価方法も整備：SwDA-500を公開し、確率的でオープンエンドな全身音声対話を評価する手順を提案しました。共通レンダリング、自動指標、人手評価、遅延測定を組み合わせ、動作システム間で音声をそろえて比較します。
• リアルタイム性：Qwen2.5-7B-Instructを基盤とするMotion-Omni-Q7は、参照音声を使わない動作指標で教師カスケードとの差を2%以内に抑えました。リアルタイム係数は0.78で、単語誤り率は2.62%です。

意義と今後

Motion-Omniの重要性は、出力を増やしたことだけにありません。音声と身体表現を別々の後処理として扱わず、共通の内部表現を通じて調整できる可能性を示した点にあります。これにより推論コストを抑えながら、言語、韻律、感情、ジェスチャーの関係をより直接的に学習できると考えられます。

一方で、結果は利用したデータ、動作教師、評価条件に依存します。疑似ラベルの品質、動作スタイルの多様性、言語やキャラクターを変えた場合の安定性は、今後の検証課題です。SwDA-500と統一評価手順は、これらを比較可能にする基盤としても意味を持ちます。

リアルタイムアバターやゲームキャラクター、デジタル接客、身体性を備えた対話システムでは、音声と動作を別々に作るのではなく、一つのマルチモーダルな判断として生成する流れが強まるかもしれません。

出典：Hugging Face Daily Papers