栗子 晓查 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

不敢相信&＃xff0c;上面这些人脸&＃xff0c;全都是假的。

是英伟达的AI生成的。

借用风格迁移的思路&＃xff0c;团队为GAN创造了一种新的生成器。

连GAN之父Goodfellow老师也忍不住发推称赞优秀&＃xff01;

这个结构不需要人类监督&＃xff0c;可以自动分离图像中的各种属性。这样&＃xff0c;在或粗糙或精细的不同尺度上&＃xff0c;人类便能自如地控制GAN的生成。

另外&＃xff0c;英伟达的人脸生成模型&＃xff0c;支持1024 x 1024的高清大图生成。毕竟&＃xff0c;GAN从小吃的是高清数据集。团队还说&＃xff0c;数据集很快就要开源了。

实际效果展示

人物自然&＃xff0c;背景自然&＃xff0c;边缘又自然。足以骗过我这个普通人类的肉眼了。

输入两张图&＃xff0c;图A决定生成人物的性别&＃xff0c;年龄&＃xff0c;头发长度&＃xff0c;以及姿势&＃xff1b;一张决定其他一切因素&＃xff1a;比如肤色、发色、衣服颜色等等。

这样&＃xff0c;就可以把图B的一部分人物特征&＃xff0c;迁移到图A上了&＃xff1a;

不过&＃xff0c;人脸的朝向和表情&＃xff0c;还是A的。

就算人种发生剧烈变化&＃xff0c;也丝毫不会违和。你看&＃xff0c;把非裔人类的脸部特征“移植”给四位白种人&＃xff0c;嘴唇的厚度、鼻子的形态&＃xff0c;以及额头&＃xff0c;都有明显的变化。

再来看看从不同尺度调节的效果吧。

这是粗糙尺度 (Coarse Styles) &＃xff0c;也是三种尺度中最大规模的调整&＃xff0c;会涉及脸部朝向的变化&＃xff0c;脸型和发型也是在这里调整的&＃xff1a;

然后看看中间尺度 (Middle Styles) &＃xff0c;调整仅限于面部特征和发色发量了&＃xff0c;姿势、发型、脸型都不会有明显变化&＃xff1a;

再来就是精细尺度 (Fine Styles) &＃xff0c;只是调整图像的配色&＃xff0c;几乎不会给人物变脸了&＃xff1a;

全新的生成器

我们前面说过&＃xff0c;这个GAN不用人类监督&＃xff0c;就可以自动分割图像里的各种部分。

经过训练&＃xff0c;它就可以把这些部分&＃xff0c;按照一定的方式组合到一起。

具体怎么组合呢&＃xff1a;

这种新的生成器&＃xff0c;像风格迁移算法一样&＃xff0c;把一张图像&＃xff0c;看做许多风格 (Styles) 的集合。

每种风格都会在一个不同的尺度 (Scale) 上控制图像的效果&＃xff1a;

粗糙 (Coarse Styles) &＃xff1a;姿势、头发、脸型。

中度 (Middle Styles) &＃xff1a;面部特征、眼睛。

精细 (Fine Styles) &＃xff1a;配色。

三者组合在一起&＃xff0c;才是最终的生成结果。

调节不同“风格”&＃xff0c;就可以在不同尺度上调节人脸图片。

另外&＃xff0c;这只GAN还可以自动把那些无关紧要的变化 (Inconsequential Variation) 剔除出去。

所谓无关紧要&＃xff0c;就是说画面发生了变化&＃xff0c;但看上去主角还是原来的主角。

粗糙的噪音&＃xff1a;如大尺度上的卷发程度。

精细的噪音&＃xff1a;更加精细的细节&＃xff0c;如质地等。

无噪音&＃xff1a;没有特征的、像画画一样的样子 (Featurelessly “painterly” look) 。

相同图片&＃xff0c;输入不同的噪音&＃xff0c;效果就不一样。

人类也可以选择&＃xff0c;每种Style的强度 (Strength) 多大。

选择高强度 (High Strength) 的话&＃xff0c;生成的图像就会比较多样化&＃xff0c;但生成坏图也会有一些。

如果是低强度 (Low Strength) &＃xff0c;生成的图像之间不会有太多变化&＃xff0c;但也几乎不会出现坏图。

从结构上来看&＃xff0c;这个新的生成器是这样的&＃xff1a;

传统的图像生成器仅通过输入层提供潜在编码&＃xff08;Latent Code&＃xff09;&＃xff0c;英伟达从一开始就舍弃了这种设计方案。

就像上图展示的那样&＃xff0c;他们设计的新生成器先将输入从潜在空间Z映射到中间的潜在空间W&＃xff0c;将映射网络生成结果输入到下一层。在生成网络g每次卷积运算之后&＃xff0c;加入高斯噪声&＃xff08;Gaussian noise&＃xff09;&＃xff0c;也就是图像的随机变化。

图像在不同尺度上的“风格”&＃xff0c;就是由上面的每个卷积层控制的&＃xff0c;它实现了直接控制各层级的图像特征强度&＃xff08;Strength&＃xff09;。

从生成图像中的随机自动变化中。它可以无监督地从中分离出图像的“风格”。

发布更强人脸数据集

除了发布图像生成算法外&＃xff0c;英伟达从Flickr中选取了7万张1024×1024分辨率的照片&＃xff0c;形成了一个新的人脸数据集FFHQ&＃xff08;Flickr-Faces-HQ&＃xff09;。

它能提供了高度多样化、高质量的人脸数据&＃xff0c;并且涵盖了比现有高分辨率数据集&＃xff08;如CelebA-HQ&＃xff09;更多的变化&＃xff0c;比如更多佩戴眼镜、帽子的照片。

英伟达将在不久后公开提供此数据集&＃xff0c;并放出源代码和预训练网络。

最后&＃xff0c;给广大猫奴们送出福利。英伟达的图片生成器不仅能用于人脸&＃xff0c;研究人员还用LSUN数据集造出了很多猫咪的图片。

你能看出它们都是假的吗&＃xff1f;

传送门

论文地址&＃xff1a;
https://arxiv.org/pdf/1812.04948.pdf

源代码和人脸数据不久后将放出&＃xff1a;
http://stylegan.xyz/code

— 完 —

活动报名

加入社群

量子位AI社群开始招募啦&＃xff0c;欢迎对AI感兴趣的同学&＃xff0c;在量子位公众号&＃xff08;QbitAI&＃xff09;对话界面回复关键字“交流群”&＃xff0c;获取入群方式&＃xff1b;

此外&＃xff0c;量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募&＃xff0c;面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号&＃xff08;QbitAI&＃xff09;对话界面回复关键字“专业群”&＃xff0c;获取入群方式。&＃xff08;专业群审核较严&＃xff0c;敬请谅解&＃xff09;

诚挚招聘

量子位正在招募编辑/记者&＃xff0c;工作地点在北京中关村。期待有才气、有热情的同学加入我们&＃xff01;相关细节&＃xff0c;请在量子位公众号(QbitAI)对话界面&＃xff0c;回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ&＃39;ᴗ&＃39; ի 追踪AI技术和产品新动态