一个有趣的说法：多层神经网络的致命问题与过拟合

我的机器学习教程「美团」算法工程师带你入门机器学习  以及 「三分钟系列」数据结构与算法  已经开始更新了&＃xff0c;欢迎大家订阅~这篇专栏整合了这几年的算法知识&＃xff0c;简单易懂&＃xff0c;也将是我实体书的BLOG版。

欢迎大家扫码关注微信公众号「图灵的猫」&＃xff0c;除了有更多AI、算法、Python相关文章分享&＃xff0c;还有免费的SSR节点和外网学习资料。其他平台&＃xff08;微信/知乎/B站&＃xff09;也是同名「图灵的猫」&＃xff0c;不要迷路哦~

Bengio在Learning Deep Architectures for AI 一书中举了一个有趣的例子。他说&＃xff1a;最近有人表示&＃xff0c;他们用传统的深度神经网络把训练error降到了0&＃xff0c;也没有用你的那个什么破Pre-Training嘛&＃xff01;

然后Bengio自己试了一下&＃xff0c;发现确实可以&＃xff0c;但是是建立在把接近输出层的顶隐层神经元个数设的很大的情况下。于是他把顶隐层神经元个数限到了20&＃xff0c;然后这个模型立马露出马脚了。无论是训练误差、还是测试误差&＃xff0c;都比相同配置下的Pre-Training方法差许多。

也就是说&＃xff0c;顶层神经元在对输入数据直接点对点记忆&＃xff0c;而不是提取出有效特征后再记忆。这就是神经网络的最后一个致命问题&＃xff1a;过拟合&＃xff0c;庞大的结构和参数使得&＃xff0c;尽管训练error降的很低&＃xff0c;但是test error却高的离谱。

过拟合还可以和Gradient Vanish、局部最小值混合三打&＃xff0c;具体玩法是这样的&＃xff1a;

1. 由于Gradient Vanish&＃xff0c;导致深度结构的较低层几乎无法训练&＃xff0c;而较高层却非常容易训练。

2. 较低层由于无法训练&＃xff0c;很容易把原始输入信息&＃xff0c;没有经过任何非线性变换&＃xff0c;或者错误变换推到高层去&＃xff0c;使得高层解离特征压力太大。

3. 如果特征无法解离&＃xff0c;强制性的误差监督训练就会使得模型对输入数据直接做拟合。

其结果就是&＃xff0c;A Good Optimation But a Poor Generalization&＃xff0c;这也是SVM、决策树等浅层结构的毛病。

Bengio指出&＃xff0c;这些利用局部数据做优化的浅层结构基于先验知识&＃xff08;Prior&＃xff09;: Smoothness。即&＃xff0c;给定样本(xi,yi)(xi,yi)&＃xff0c;尽可能从数值上做优化&＃xff0c;使得训练出来的模型&＃xff0c;对于近似的x&＃xff0c;输出近似的y。

然而一旦输入值做了泛型迁移&＃xff0c;比如两种不同的鸟&＃xff0c;鸟的颜色有别&＃xff0c;且在图像中的比例不一&＃xff0c;那么SVM、决策树几乎毫无用处。

因为&＃xff0c;对输入数据简单地做数值化学习&＃xff0c;而不是解离出特征&＃xff0c;对于高维数据&＃xff08;如图像、声音、文本&＃xff09;&＃xff0c;是毫无意义的。然后就是最后的事了&＃xff0c;由于低层学不动&＃xff0c;高层在乱学&＃xff0c;所以很快就掉进了吸引盆中&＃xff0c;完成神经网络三杀。