generated — ground truth

smpl_animation_2d——offset——music.mp4

smpl_animation_2d——offset-GT-music.mp4

generated — ground truth

2_generated-music.mp4

2-music.mp4

目标:

  1. 有韵律的手势舞蹈生成(2D或3D)。
  2. 能够使用照片或者人体模型形式可视化做出demo。

目前已经做的工作:

  1. 数据集搜集(两版,第一个版本1972个视频,因为视频中人物占比有大有小收集了版本2。第二个版本4200个视频)
  2. 根据全身舞蹈动作生成模型(EDGE—基于diffusion的)修改的针对手势舞的模型,并已经完成2000轮训练,结果如上面视频所示。