danceit专题

music to dance系列论文之DanceIt: Music-Inspired Dancing Video Synthesis

摘要 1)为了探索音乐和舞蹈运动之间的关系,本文提出一个跨模态对齐模块,来判断姿势序列的视觉特征和音乐的声学特征之间的一致性。 2)在想象模块中使用学习到的跨模态对齐模型,为给定音乐片段选择对应的姿势序列。 3)为了解决姿势序列之间的不连贯问题,提出了时空对齐模块,并开发了一种基于舞蹈运动趋势和周期性的空间对齐算法来预测不连续片段之间的舞蹈运动。 4)为了解决所选姿势序列与音乐节拍错位的问题,提