generated — ground truth
smpl_animation_2d——offset——music.mp4
smpl_animation_2d——offset-GT-music.mp4
generated — ground truth
2_generated-music.mp4
2-music.mp4
目标:
- 有韵律的手势舞蹈生成(2D或3D)。
- 能够使用照片或者人体模型形式可视化做出demo。
目前已经做的工作:
- 数据集搜集(两版,第一个版本1972个视频,因为视频中人物占比有大有小收集了版本2。第二个版本4200个视频)
- 根据全身舞蹈动作生成模型(EDGE—基于diffusion的)修改的针对手势舞的模型,并已经完成2000轮训练,结果如上面视频所示。