浅谈过拟合

概念

为了得到一致假设而使假设变得过度严格称为过拟合。

定义

给定一个假设空间H&＃xff0c;一个假设h属于H&＃xff0c;如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小&＃xff0c;但在整个实例分布上h’比h的错误率小&＃xff0c;那么就说假设h过度拟合训练数据。

我们可以举个例子理解一下
举个例子&＃xff1a;

(1)打个形象的比方&＃xff0c;给一群天鹅让机器来学习天鹅的特征&＃xff0c;经过训练后&＃xff0c;知道了天鹅是有翅膀的&＃xff0c;天鹅的嘴巴是长长的弯曲的&＃xff0c;天鹅的脖子是长长的有点曲度&＃xff0c;天鹅的整个体型像一个“2”且略大于鸭子.这时候你的机器已经基本能区别天鹅和其他动物了。

(2)然后&＃xff0c;很不巧你的天鹅全是白色的&＃xff0c;于是机器经过学习后&＃xff0c;会认为天鹅的羽毛都是白的&＃xff0c;以后看到羽毛是黑的天鹅就会认为那不是天鹅.

(3)好&＃xff0c;来分析一下上面这个例子&＃xff1a;(1)中的规律都是对的&＃xff0c;所有的天鹅都有的特征&＃xff0c;是全局特征&＃xff1b;然而&＃xff0c;(2)中的规律&＃xff1a;天鹅的羽毛是白的.这实际上并不是所有天鹅都有的特征&＃xff0c;只是局部样本的特征。机器在学习全局特征的同时&＃xff0c;又学习了局部特征&＃xff0c;这才导致了不能识别黑天鹅的情况.

然后&＃xff0c;我们再放到机器里面

(1)对于机器来说&＃xff0c;在使用学习算法学习数据的特征的时候&＃xff0c;样本数据的特征可以分为局部特征和全局特征&＃xff0c;全局特征就是任何你想学习的那个概念所对应的数据都具备的特征&＃xff0c;而局部特征则是你用来训练机器的样本里头的数据专有的特征.

(2)在学习算法的作用下&＃xff0c;机器在学习过程中是无法区别局部特征和全局特征的&＃xff0c;于是机器在完成学习后&＃xff0c;除了学习到了数据的全局特征&＃xff0c;也可能习得一部分局部特征&＃xff0c;而习得的局部特征比重越多&＃xff0c;那么新样本中不具有这些局部特征但具有所有全局特征的样本也越多&＃xff0c;于是机器无法正确识别符合概念定义的“正确”样本的几率也会上升&＃xff0c;也就是所谓的“泛化性”变差&＃xff0c;这是过拟合会造成的最大问题.

(3)所谓过拟合&＃xff0c;就是指把学习进行的太彻底&＃xff0c;把样本数据的所有特征几乎都习得了&＃xff0c;于是机器学到了过多的局部特征&＃xff0c;过多的由于噪声带来的假特征&＃xff0c;造成模型的“泛化性”和识别正确率几乎达到谷点&＃xff0c;于是你用你的机器识别新的样本的时候会发现就没几个是正确识别的.

判断方法

一个假设在训练数据上能够获得比其他假设更好的拟合&＃xff0c; 但是在训练数据外的数据集上却不能很好地拟合数据&＃xff0c;此时认为这个假设出现了过拟合的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。

图列

可以看出在a中虽然完全的拟合了样本数据&＃xff0c;但对于b中的测试数据分类准确度很差。而c虽然没有完全拟合样本数据&＃xff0c;但在d中对于测试数据的分类准确度却很高。过拟合问题往往是由于训练数据少等原因造成的。

常见引起过拟合的原因

&＃xff08;1&＃xff09;建模样本选取有误&＃xff0c;如样本数量太少&＃xff0c;选样方法错误&＃xff0c;样本标签错误等&＃xff0c;导致选取的样本数据不足以代表预定的分类规则&＃xff1b;
&＃xff08;2&＃xff09;样本噪音干扰过大&＃xff0c;使得机器将部分噪音认为是特征从而扰乱了预设的分类规则&＃xff1b;
&＃xff08;3&＃xff09;假设的模型无法合理存在&＃xff0c;或者说是假设成立的条件实际并不成立&＃xff1b;
&＃xff08;4&＃xff09;参数太多&＃xff0c;模型复杂度过高&＃xff1b;

常见引起过拟合的处理方法

1&＃xff09;在神经网络模型中&＃xff0c;可使用权值衰减的方法&＃xff0c;即每次迭代过程中以某个小因子降低每个权值。
&＃xff08;2&＃xff09;选取合适的停止训练标准&＃xff0c;使对机器的训练在合适的程度&＃xff1b;
&＃xff08;3&＃xff09;保留验证数据集&＃xff0c;对训练成果进行验证&＃xff1b;
&＃xff08;4&＃xff09;获取额外数据进行交叉验证&＃xff1b;
&＃xff08;5&＃xff09;正则化&＃xff0c;即在进行目标函数或代价函数优化时&＃xff0c;在目标函数或代价函数后面加上一个正则项&＃xff0c;一般有L1正则与L2正则等。

谈到了正则&＃xff0c;我们来了解一下L1正则与L2正则

L1正则化&＃xff08;Losso&＃xff09; L2正则化&＃xff08;Ridge&＃xff09;