用“原子动作”生成舞蹈：音乐驱动动作生成的新思路

导语

音乐驱动舞蹈生成一直是多模态生成中的一个有趣方向：输入一段音乐，模型需要输出既合拍、又像人类编舞的人体动作。现有神经网络方法已经能生成视觉上较自然的动作，但论文指出，一个关键问题仍未解决：很多方法把舞蹈当作连续运动信号来拟合，却忽略了舞蹈本身由动作单元组合而成的结构属性。因此，生成结果可能局部好看，却在段落组织、动作重复、过渡逻辑和可控编辑上显得松散。

核心要点

• 把舞蹈拆成“原子动作”：论文提出将编舞建模为一串可解释的原子动作。这些动作类似舞蹈中的基本事件，是更高层结构的组成块，而不只是逐帧姿态序列。
• 从数据中构建动作词表：作者先对大规模舞蹈数据进行切分和聚类，得到若干动作组；随后引入大语言模型对聚类结果进行语义重标注和细化，使这些动作单元更容易理解和复用。
• 两阶段生成流程：第一阶段是“原子动作规划”，模型根据音乐预测动作类型、持续时间和发生时机，形成符号化的舞蹈分配；第二阶段是动作补全，由关注过渡的生成器把规划结果转化为平滑、风格一致的人体运动。
• 强调可解释与可控：由于中间层不是黑箱连续向量，而是显式动作结构，用户或系统更容易理解模型为何这样编舞，也更容易对某段动作进行编辑。

意义与影响

这项工作的价值不只在于提升生成效果，更在于把“编舞”从低层运动拟合推进到结构化规划。对虚拟偶像、游戏角色、短视频创作和数字人表演来说，舞蹈生成需要的不只是动作真实，还包括段落组织、节奏呼应和可修改性。原子动作表示为这些需求提供了一个较清晰的接口。

当然，论文摘要没有披露数据规模、动作词表大小或具体模型细节，实际泛化能力仍需阅读全文和更多开放评测来判断。但从方法思路看，它契合了多模态生成的一个趋势：先生成可解释的中间结构，再完成高保真细节合成。对于音乐到动作、文本到动作乃至更广义的具身智能任务，这类“结构先行”的设计都有参考意义。

来源：arXiv