机器学习系列（3）：几分钟了解正则化及python实现

“ 咦&＃xff1f;训练集上的表现很不错&＃xff0c;测试集和开发集怎么就下降了&＃xff1f;有请正...正...正则化&＃xff0c;这里是机器学习系列第三篇&＃xff0c;带你走进正则化&＃xff0c;了解一下它是如何改善网络性能的吧。(文末有彩蛋哦)”

图片挂了&＃xff0c;大家移步以下链接

https://mp.weixin.qq.com/s?__biz&＃61;MzU4NTY1NDM3MA&＃61;&＃61;&mid&＃61;2247483763&idx&＃61;1&sn&＃61;17b63b559ed0b6d22c3f59876467510a&chksm&＃61;fd86087ecaf181687998627eb5b175003e0b37c44e3f50827bc565ffdc24c2281d0e267929ff&token&＃61;255604471&lang&＃61;zh_CN#rd

                                                         01 导言

深度学习可能会存在过拟合问题&＃xff0c;也即有比较高的方差&＃xff08;variance&＃xff09;&＃xff0c;导致深度网络不能很好的泛化&＃xff0c;针对这个问题&＃xff0c;我们可以有不同的解决方式&＃xff0c;比如采用正则化、增加数据集、减小网络规模、改变网络架构等&＃xff0c;这个主题我们将讨论正则化。

申明

本文原理解释和公式推导均由LSayhi完成&＃xff0c;供学习参考&＃xff0c;可传播&＃xff1b;代码实现的框架由Coursera提供&＃xff0c;由LSayhi完成&＃xff0c;详细数据和代码可在github中查询.

https://github.com/LSayhi/DeepLearning

微信公众号&＃xff1a;AI有点可ai

                                                   02 常见正则化

2.1、 L2范数正则化

• 这种正则化方式是将原交叉信息熵代价函数

更改为

更改后的代价函数的第二部分中是范数&＃xff0c;称为Frobenius norm,所以在书写时&＃xff0c;矩阵写为或&＃xff0c;再代价函数增加的第二部分代价称为正则化cost。那么在反相传播过程中&＃xff0c;,此处的相较于没有正则化的方式更大了&＃xff0c;更新后的将更小&＃xff0c;因此我们也称范数正则化为权重减轻。

• 那么为什么正则化能够防止过拟合呢&＃xff1f;直觉上可以这么认为&＃xff0c;W越小&＃xff0c;隐藏层神经元的影响越小&＃xff0c;极端情况比如W&＃61;0&＃xff0c;那么对应的神经元就没有发挥作用&＃xff0c;神经元的数目越小&＃xff0c;越不容易拟合&＃xff0c;因此&＃xff0c;如果之前是过拟合的情况&＃xff0c;经过正则化可以降低方差&＃xff0c;当然W的大小还与有关&＃xff0c;这就是一个可以调试的参数。

2.2、L1范数正则化&＃xff1a;

• L1正则化与L2正则化不同的是&＃xff0c;将改为,记为,称L1范数&＃xff0c;L1正则化是将平方换成了绝对值。

• L1和L2一样&＃xff0c;都是引入对参数W的惩罚&＃xff0c;“惩罚”意为降低W对网络的影响&＃xff0c;极端情况就是使W中的某些值为0&＃xff0c;降低网络的表达能力。

• L1与L2不同的是&＃xff0c;L1能够产生稀疏性&＃xff0c;L1会趋向于产生少量的特征&＃xff0c;而其他的特征都是0&＃xff0c;而L2会选择更多的特征&＃xff0c;这些特征都会接近于0&＃xff08;详细演绎待补充&＃xff09;

2.3、L0范数正则化

• L0正则化&＃xff0c; L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话&＃xff0c;就是希望W的大部分元素都是0。由此&＃xff0c;L0正则化将更大程度上降低网络的表达能力&＃xff0c;在一定条件下&＃xff0c;依概率1等价于,但L0范数优化是个NP-hard问题&＃xff0c;人们于是倾向于用L1,L2范数。

2.4、dropout正则化

• 这种正则化方式是将隐藏层的神经元随机消除&＃xff0c;可以理解为随机抛弃了某些已经学习到的特征&＃xff0c;以达到降低网络表达能力的效果。这和PCA有点类似&＃xff0c;PCA是对输入层数据进行特征选择&＃xff0c;而dropout是对隐藏层学习到的特征进行&＃xff08;随机&＃xff09;选择&＃xff0c;不依赖于某一特征&＃xff0c;这样可以降低网络对某些参数的过拟合。

2.5、Early stopping

• 提前停止&＃xff0c;这种方式是通过迭代次数和代价两者的曲线&＃xff0c;取一个中等大小的迭代次数&＃xff0c;此时对应中等大小的W&＃xff0c;可以防止过拟合。

2.6、数据扩增

• 如果数据量过少&＃xff0c;则深度血虚可能会产生过拟合&＃xff0c;那么通过人工产生新的数据&＃xff0c;则可以扩大数据集&＃xff0c;对于图像识别比如将图片翻转、裁剪等&＃xff0c;对于数字识别将数字扭曲&＃xff0c;旋转等&＃xff0c;通过增加数据量减少过拟合。

                                                       03 效果展示

任务&＃xff1a;假设现在我们有一些足球比赛数据&＃xff0c;这些数据记录着当法国队守门员发球后&＃xff0c;在足球场上不同地点是哪方头球接球成功。利用这些数据&＃xff0c;用神经网络预测在不同位置&＃xff0c;是哪个队的球员头球成功获得控球权。

训练集数据如下图

采用同样的网络结构&＃xff0c;利用不同正则化方式&＃xff0c;我们对比下效果&＃xff1a;

未使用正则化&＃xff1a;

L2正则化&＃xff1a;

dropout正则化

result table

可以看出正则化方式减小了过拟合&＃xff0c;提高了测试集预测正确率。

                                                  04 python实现

4.1 本文相应的代码及资料已经以.ipynb文件和.pdf形式在github中给出。

• .ipynb文件在链接/Coursera-deeplearning深度学习/课程2/week1/

• .pdf文件在链接/Coursera-deeplearning深度学习

• github地址&＃xff1a;https://github.com/LSayhi/DeepLearning

点击【蓝字链接】&＃xff0c;github传送门了解一下。

觉得有帮助的话别忘了star哦

有时候&＃xff0c;不追求完美&＃xff0c;反倒是一种美&＃xff0c;我知道你并非完美&＃xff0c;但却瑕疵的那么可爱

-by LSayhi的神经网络