（深度学习快速入门）第三章第三节5：深度学习必备组件之欠拟合和过拟合

我们训练模型的目的是为了让模型真正发现一种泛化模式&＃xff0c;而不是说只是简简单单的记住了训练数据&＃xff0c;只有这样&＃xff0c;模型在遇到全新的数据时&＃xff0c;也能成功预测

欠拟合&＃xff08;underfitting&＃xff09;&＃xff1a;训练误差和验证误差都很严重&＃xff0c;他们之间仅有一点差距。这意味着&＃xff0c;模型可能过于简单&＃xff0c;也即表达能力差

过拟合&＃xff08;overfitting&＃xff09;&＃xff08;最为常见&＃xff09;&＃xff1a;模型的训练误差要明显低于验证误差。当然注意&＃xff0c;即便是最好的预测模型&＃xff0c;它在训练数据上的表现往往⽐在验证数据上好得多。最终&＃xff0c;我们通常更关⼼验证误差&＃xff0c;⽽不是训练误差和验证误差之间的差距

前面也说过&＃xff0c;在进行模型选择时&＃xff0c;不能一味地认为训练误差越小的模型越好&＃xff0c;因为此时可能已经到达过拟合状态&＃xff0c;此时它在测试数据上误差反而会变大&＃xff0c;所以要选择损失函数刚刚收敛时的模型作为最佳模型

正则化&＃xff1a;正则化旨在减少泛化误差而不是训练误差&＃xff0c;也就是说&＃xff0c;正则化的目的是为了防止模型过拟合&＃xff0c;降低泛化误差&＃xff0c;从而提高泛化能力

正则化技术在深度学习中主要用于了抑制过拟合&＃xff0c;主要有四种

• 加正则项&＃xff08;惩罚项&＃xff09;&＃xff1a;使用最为广泛&＃xff0c;通常只对权重做惩罚而不对偏置做正则惩罚&＃xff0c;最常用的是L1和L2
• Dropout&＃xff08;暂退法&＃xff09;
• 数据增广
• 早停法&＃xff1a;配合日志

&＃xff08;1&＃xff09;加入正则项

①&＃xff1a;L1正则项

L1正则项 在原损失函数后面加入L1范数&＃xff08;非零元素的绝对值之和&＃xff09;

J



︿



(


ω


;


X


,


y


)


&＃61;


J


(


ω


;


X


,


y


)


&＃43;


α


∣


∣


ω


∣



∣


1




\mathop{J}\limits^{︿}(\omega;X,y) &＃61; J(\omega;X, y) &＃43; \alpha||\omega||_{1}


J︿​(ω;X,y)&＃61;J(ω;X,y)&＃43;α∣∣ω∣∣1​
计算梯度后&＃xff0c;$\omega$的更新公式为

ω


←


ω


−


ξ


α


s


i


g


n


(


ω


)


−


ξ



∇


ω



J


(


ω


;


X


,


y


)



\omega \leftarrow \omega - \xi\alpha sign(\omega)-\xi \nabla_{\omega}J(\omega;X,y)


ω←ω−ξαsign(ω)−ξ∇ω​J(ω;X,y)

可以看出&＃xff0c;L1正则化会使得$\&＃64;w$向0靠近&＃xff0c;使网络中的权重尽可能为0&＃xff0c;使网络中某些神经元失效&＃xff0c;以此防止过拟合

• 当$\omega >0$时&＃xff0c;梯度下降时更新后的$\omega$变小
• 当$\omega ><0$时&＃xff0c;梯度下降时更新后的$\omega$变大

特点

• 特征选择器
• 模型稀疏性

②&＃xff1a;L2正则项

L2正则项&＃xff1a; 在原损失函数后面加入L2范数&＃xff08;向量元素的平方和再开平方&＃xff09;

J



︿



(


ω


;


X


,


y


)


&＃61;


J


(


ω


;


X


,


y


)


&＃43;



α


2




ω


T



ω



\mathop{J}\limits^{︿}(\omega ;X,y) &＃61; J(\omega;X, y)&＃43;\frac{\alpha}{2}\omega^{T}\omega


J︿​(ω;X,y)&＃61;J(ω;X,y)&＃43;2α​ωTω
**计算梯度后&＃xff0c;$\omega$的更新公式为

ω


←


(


1


−


ξ


α


)


ω


−


ξ



∇


ω



J


(


ω


;


X


,


y


)



\omega \leftarrow (1-\xi\alpha)\omega - \xi \nabla_{\omega}J(\omega;X, y)


ω←(1−ξα)ω−ξ∇ω​J(ω;X,y)

可以看到&＃xff0c;在每次执行梯度更新前&＃xff0c;先会收缩权重向量&＃xff08;权重衰减&＃xff09;&＃xff0c;因此L2正则化可以让权重变得更小

特点

• 连续可导
• 易于训练

&＃xff08;2&＃xff09;Dropout&＃xff08;暂退法&＃xff09;

Dropout&＃xff08;暂退法&＃xff09;&＃xff1a;对于Dropout算法&＃xff0c;在模型训练时&＃xff0c;它会以下概率丢弃神经元