基本信息

在音乐驱动下自动生成自然、多样、有节奏的人类舞蹈动作对于虚拟现实和电影行业至关重要。然而，生成自然跟随音乐的舞蹈仍然是一个挑战，因为现有方法缺乏适当的节拍对齐并表现出不自然的运动动态。在本文中，我们提出了 Danceba，这是一种新颖的框架，它利用门控机制来增强音乐驱动的舞蹈生成的节奏感知特征表示，从而实现高度一致的舞蹈姿势和增强的节奏敏感性。具体来说，我们引入基于相位的节奏提取（PRE），利用音乐的内在周期性和时间结构，从音乐相位数据中精确提取节奏信息。此外，我们提出时间门控因果注意力（TGCA）来关注全局节奏特征，确保舞蹈动作紧密跟随音乐节奏。我们还引入并行曼巴运动建模（PMMM）架构来分别对上半身和下半身运动以及音乐特征进行建模，从而提高生成的舞蹈动作的自然性和多样性。大量实验证实，Danceba 的性能优于最先进的方法，实现了明显更好的节奏对齐和动作多样性。项目页面：此 https URL  ...