基于PaddleGAN精准唇形合成实现持枪人讲电话已关机

基于PaddleGAN精准唇形合成实现持枪人讲电话已关机

宋代著名诗人苏轼「动起来」的秘密

就在上周，坐拥百万粉丝的独立艺术家大谷Spitzer老师利用深度学习技术使宋代诗人苏轼活过来，穿越千年，为屏幕前的你们亲自朗诵其著名古诗~ 点击量近百万，同时激起百万网友热议，到底是什么技术这么牛气？

PaddleGAN的唇形迁移能力–Wav2lip

铛铛铛！！飞桨PaddleGAN这就来给大家揭秘，手把手教大家如何实现唇型的迁移，学习过本项目的你们，从此不仅能让苏轼念诗，还能让蒙娜丽莎播新闻、新闻主播唱Rap… 只有你想不到的，没有PaddleGAN做不到的！

本教程是基于PaddleGAN实现的视频唇形同步模型Wav2lip, 它实现了人物口型与输入语音同步，俗称「对口型」。 比如这样：

不仅仅让静态图像会「说话」，Wav2lip还可以直接将动态的视频，进行唇形转换，输出与目标语音相匹配的视频，自制视频配音不是梦！

本次教程包含四个部分：

• Wav2lip原理讲解
• 下载PaddleGAN代码
• 唇形动作合成命令使用说明
• 成果展示

若是大家喜欢这个教程，欢迎到Github PaddleGAN主页点击star呀！下面就让我们一起动手实现吧！

Wav2lip模型原理

Wav2lip实现唇形与语音精准同步突破的关键在于，它采用了唇形同步判别器，以强制生成器持续产生准确而逼真的唇部运动。

此外，该研究通过在鉴别器中，使用多个连续帧而不是单个帧，并使用视觉质量损失（而不仅仅是对比损失）来考虑时间相关性，从而改善了视觉质量。

该wav2lip模型几乎是万能的，适用于任何人脸、任何语音、任何语言，对任意视频都能达到很高的准确率，可以无缝地与原始视频融合，还可以用于转换动画人脸，并且导入合成语音也是可行的

下载PaddleGAN代码

# 下载PaddlePaddle安装包
%cd /home/aistudio/work

/home/aistudio/work

# 从github上克隆PaddleGAN代码（如下载速度过慢，可用gitee源）
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
#!git clone https://github.com/PaddlePaddle/PaddleGAN

# 安装所需安装包
!mkdir sndfile
%cd sndfile
!wget http://www.mega-nerd.com/libsndfile/files/libsndfile-1.0.28.tar.gz
!tar xzvf libsndfile-1.0.28.tar.gz%cd libsndfile-1.0.28
!./configure --prefix=/home/aistudio/build_libs CFLAGS=-fPIC --enable-shared 
!make
!make install

%cd /home/aistudio/work