了解GAN网络

GAN网络&＃xff0c;第一次听说它就不明觉厉。其他网络都是对输入图像进行某种处理&＃xff0c;得到某种特定的输出。而GAN网络居然可以“无中生有”&＃xff0c;无论是去除马赛克&＃xff0c;还是换脸&＃xff0c;还是对灰度图像上色&＃xff0c;都显得不可思议&＃xff0c;怎么可能凭空产生多余的信息&＃xff1f;

在做了一点初步的了解之后发现&＃xff0c;GAN网络确实和直观的感觉一样&＃xff0c;它不需要带标签的图像进行训练&＃xff0c;这也是它得到Yann Lecunc称赞为机器学习十年来最有意思的想法的原因&＃xff0c;它使无监督学习成为可能。但作为一个机器学习方法&＃xff0c;它依然应该有机器学习的三要素&＃xff1a;模型&＃xff0c;策略&＃xff0c;算法。先再介绍一下GAN网络的基本情况&＃xff0c;再来从三要素分析之。

GAN网络&＃xff08;Generative Adversarial Networks&＃xff09;&＃xff0c;生成对抗网络&＃xff0c;由lan Goodfellow在2014年提出&＃xff0c;发表在NIPS会议&＃xff08;神经信息处理系统大会&＃xff09;上。https://arxiv.org/abs/1406.2661

模型

GAN网络使用了两个模型&＃xff0c;一个是生成器Generator&＃xff08;属于生成模型&＃xff09;&＃xff0c;一个是鉴别器Discriminator&＃xff08;属于判别模型&＃xff09;。两个模型的关系是相互对抗又相互促进&＃xff0c;就像军备竞赛一样&＃xff0c;这也是这个网络名字的由来。生成器使用随机噪声或者潜在变量生成逼真的样本。鉴别器实质就是一个二分类器&＃xff0c;判断当前输入是真实样本还是仿冒样本。

下面是GAN网络的基本架构。

从图中可以看到GAN网络基本分为G和D两部分。G和D有时相连接&＃xff0c;有时断开&＃xff0c;这时D的输入是真正的样本&＃xff08;但是不带标签&＃xff09;。这种特殊的连接关系实际是之后要讲的训练方法&＃xff1a;单独交替迭代训练。

策略

训练的结果&＃xff0c;这两个模型会达到纳什均衡&＃xff0c;鉴别器再也分不清楚生成器生成的样本是真是假&＃xff0c;若分类器是软判决的&＃xff0c;那么输出的概率都分布在0.5附近&＃xff0c;距离1和0的距离相同。

纳什均衡是博弈学中的一个概念&＃xff0c;被广泛应用于经济学中。比如两个厂商&＃xff0c;它们的定价策略有各种组合形式&＃xff0c;那么存在这么一直策略组合是稳定的&＃xff0c;在这种局面下&＃xff0c;任何一方单独改变策略&＃xff0c;都无法获得收益&＃xff0c;于是没有哪一方会主动改变策略&＃xff0c;从而继续维持稳定。GAN就是生成器和鉴别器之间的博弈。考虑鉴别器D&＃xff0c;我们站在鉴别器的角度考虑问题。输出是概率&＃xff0c;分布在0~1之间&＃xff0c;1代表真实样本&＃xff0c;0代表假样本&＃xff0c;当D的输入是真实样本时&＃xff0c;希望输出越大越好&＃xff1b;当D的输入是生成器产生的假样本时&＃xff0c;希望输出越小越好&＃xff0c;即能正确识别真假。

考虑生成器G&＃xff0c;我们希望G生成的样本也可以以假乱真&＃xff0c;被D判别为近似1。

算法

具体算法还需要研究作者的文章。在这里分析一下前面提到的单独交替迭代训练。鉴别器比较容易理解&＃xff0c;就是一个带监督的分类器。虽然说我们提供的样本是没有标签的&＃xff0c;那只是意味着我们不知道样本图像具体的类别&＃xff0c;我们也不需要知道&＃xff0c;我们只需要知道它是真样本还是假样本就可以了&＃xff08;把真/假作为标签&＃xff09;。这时候鉴别器不需要和生成器相连。也可以理解为先固定生成器的参数&＃xff0c;之后还要固定鉴别器的参数&＃xff0c;更新生成器的权重。

对于生成网络&＃xff0c;就需要两个模型相连&＃xff0c;这样我们才能得到反馈。这时候保持鉴别器D的参数不变&＃xff0c;还需要注意的是要把生成器生成的结果的标签置1&＃xff0c;因为我们希望鉴别器能把它判为1&＃xff0c;这样把鉴别器的输出一直逼近1就达到了训练的目的。

链接中给了使用matlab的DeepLearnToolbox生成mnist图像的例子。但是在github有说明这个项目已经不再维护&＃xff0c;作者推荐使用Theano&＃xff0c;torch&＃xff0c;TensorFlow。

除了普通的GAN&＃xff0c;还有条件GAN&＃xff0c;让生成的样本符合我们的预期。这个条件可以是类别标签&＃xff08;例如 MNIST 手写数据集的类别标签&＃xff09;&＃xff0c;也可以是其他的多模态信息&＃xff08;例如对图像的描述语言&＃xff09;等。

使用方法分两步

    Download.

addpath(genpath(&＃39;DeepLearnToolbox&＃39;));

然后就可以在test文件夹中运行测试用例了。

P.s 在matlab中使用自定义函数&＃xff0c;要将函数定义在同名m文件中&＃xff0c;用function修饰

Reference&＃xff1a;

1. 好在哪里 https://blog.csdn.net/heyc861221/article/details/80128351
2. 单独交替迭代https://blog.csdn.net/on2way/article/details/72773771
3. 三篇文章https://www.cnblogs.com/Charles-Wan/p/623803html
4. DeepLearnToolbox&＃xff1a;https://blog.csdn.net/zhenyu_zhang/article/details/78266415?locationNum&＃61;3&fps&＃61;1