蒙娜丽莎说Rap的秘密，这个AI算法绝不能错过！

蒙娜丽莎说Rap、苏轼先生开口念诗、Gollum唱Black Pink的Ice Cream。是的&＃xff0c;你没有看错&＃xff0c;本篇给大家介绍的这个AI算法可以让你零基础5分钟实现上述超级Fancy的特效&＃xff0c;亲手制作点击量过百万、霸榜热搜的超级视频。

话不多说&＃xff0c;让我们先看效果&＃xff01;

怎么样&＃xff1f;小编没有在骗人吧。并且&＃xff0c;最近大火的虚拟美妆博主柳夜熙、上周百度发布的央视总台首个AI手语主播以及各大虚拟偶像等等数字人的核心技术中&＃xff0c;让数字人开口说话的也是这个AI算法。

那这到底是什么神奇的技术呢&＃xff1f;答案就是飞桨开源套件PaddleGAN中的新晋宠儿&＃xff1a;Wav2lip模型

赶紧上项目查看源码及文档教程吧&＃xff0c;这个项目还提供热门GAN模型&＃xff0c;如AnimeGANv2、GauGAN、First Order Motion的实现。开源不易&＃xff0c;望大家Star支持&＃xff01;

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

更贴心的是&＃xff0c;完整项目代码已公开于AI Studio&＃xff0c;大家动动手指即可体验&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/3156519?ref&＃61;feijiang2

下面呢&＃xff0c;我们就来给大家拆解下这个技术原理&＃xff0c;和具体的操作步骤&＃xff0c;手把手教你实现苏轼念诗&＃xff0c;蒙娜丽莎唱Rap或者任何你心仪的Idol说情话

这是一个输入一段语音&＃xff0c;使目标人物图片、视频的唇形&＃xff0c;根据语音进行自动匹配并运动起来的任务。因此&＃xff0c;我们需要准备一段音频和一段人像/动漫人物视频&＃xff0c;将音频和视频输入Wav2lip模型中&＃xff0c;经过Wav2lip模型预测后&＃xff0c;便会输出一段目标人物/动漫人物说出输入音频的视频&＃xff0c;至此&＃xff0c;「千万级」配音视频就完成啦~

PaddleGAN的唇形迁移能力

Wav2lip

Wav2lip模型实现唇形与语音精准同步突破的关键在于&＃xff1a;

• 采用了唇形同步判别器&＃xff0c;以强制生成器持续产生准确而逼真的唇部运动。

• 此外&＃xff0c;通过在鉴别器中&＃xff0c;使用多个连续帧而不是单个帧&＃xff0c;并使用视觉质量损失&＃xff08;而不仅仅是对比损失&＃xff09;来考虑时间相关性&＃xff0c;从而改善了视觉质量。

万能的Wav2lip模型适用于任何人脸、任何语音、任何语言&＃xff01;对任意视频都能达到很高的准确率&＃xff0c;都可以实现无缝地与原始视频融合&＃xff0c;无论是视频效果还是语音效果都很逼真。

与此同时&＃xff0c;PaddleGAN针对Wav2Lip模型进行了高清优化&＃xff0c;使唇形拟合更细腻&＃xff0c;更加逼真。

PaddleGAN Wav2lip的

使用方法

在PaddleGAN的帮助下&＃xff0c;完成上述神奇的自制「配音/对口型」只需两步&＃xff1a;

1.下载PaddleGAN并所需安装包

# 下载PaddlePaddle安装包
# 从github上克隆PaddleGAN代码&＃xff08;如下载速度过慢&＃xff0c;可用gitee源&＃xff09;
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
#!git clone https://github.com/PaddlePaddle/PaddleGAN
#本地安装PaddleGAN
%cd /home/aistudio/PaddleGAN
!pip install -v -e .
!pip install -r requirements.txt
!pip install librosa
!pip install numba&＃61;&＃61;0.53.1

2.使用唇形合成命令

%cd applications/
!python tools/wav2lip.py \--face /home/aistudio/1.jpeg \--audio /home/aistudio/2.m4a \--outfile /home/aistudio/pp_put.mp4 \--face_enhancement

只需在如下命令中的face参数和audio参数分别换成自己的视频和音频路径&＃xff0c;然后运行即可生成和音频同步的视频&＃xff0c;运行完成后&＃xff0c;会在当前文件夹下生成文件名为outfile参数指定的视频文件&＃xff0c;该文件即为和音频同步的视频文件&＃xff1a;

• face: 原始视频&＃xff0c;视频中的人物的唇形将根据音频进行唇形合成

• audio&＃xff1a;驱动唇形合成的音频&＃xff0c;视频中的人物将根据此音频进行唇形合成

• outfile&＃xff1a;成品视频名

• face_enhancement&＃xff1a;添加人脸增加特效

PaddleGAN的

花样玩法

以为PaddleGAN就止于此&＃xff1f;NoNoNo~

免费开源的宝藏套件PaddleGAN的能力当然不止于唇形迁移/生成的技术&＃xff0c;里面满满都是种类丰富、趣味的图像/视频生成、处理能力&＃xff0c;热门的前沿模型&＃xff0c;如AnimeGANv2、GauGAN、First Order Motion等模型等待大家探索。

如图像风格迁移、视频修复、图像超分辨率、人像动漫化、照片动漫化、人脸编辑等等。

PaddleGAN就如一个「游乐场」&＃xff0c;欢迎各位「玩家」加入&＃xff0c;体验各类「游戏设施」&＃xff0c;无需门票&＃xff0c;如果玩得开心&＃xff0c;记得点Star支持下~

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

关注公众号&＃xff0c;获取更多技术内容~