PyTorch入坑十一：损失函数、正则化深刻剖析softmax+CrossEntropyLoss

概念

Loss Function

计算一个样本的损失&＃xff1a;

Cost Function

整个训练集&＃xff08;或者batch&＃xff09;的损失平均值

Objective Function

目标函数是一个更广泛的概念&＃xff0c;在机器学习中&＃xff0c;目标函数包含Cost和Regularization&＃xff08;正则项&＃xff09;&＃xff1a;

• 正则化&＃xff1a;惩罚较大的参数&＃xff0c;参数的值越小&＃xff0c;通常对应于越光滑的函数&＃xff0c;也就是更加简单的函数。因此 就不易发生过拟合的问题。
• 常用的有L1正则化和L2正则化
• L1更适用于更适用于特征选择&＃xff1b;L2更适用于防止模型过拟合
• 更多细节参考 正则化的描述

正则化

方差的概念参考&＃xff1a;方差

正则化策略的目的就是降低方差&＃xff0c;减小过拟合的发生。

常用的手段有&＃xff1a;L1正则化、L2正则化、Dropout、提前终止(早停)、数据扩增。
正则化这个话题比较大&＃xff0c;待开一篇文章专门描述。

损失函数

交叉熵损失函数nn.CrossEntropyLoss()

• 交叉熵损失函数常常用于分类任务
• 交叉熵是衡量两个概率分布之间的差异。所以交叉熵值越低表示两个分布越近

自信息

自信息用于衡量单个事件的不确定性&＃xff0c;其公式为&＃xff1a;

熵(信息熵)

熵指的是信息熵&＃xff0c;是自信息的期望。用来描述一个事件的不确定性&＃xff0c;一个事件越不确定熵越大。熵是整个概率分布的不确定性&＃xff0c;用来描述整个概率分布

伯努利分布的信息熵&＃xff1a;

当事件的概率为0.5(如抛硬币)时&＃xff0c;其信息熵最大&＃xff0c;这也表示事件的不确定性最大&＃xff0c;其熵最大值为0.69&＃xff1b;如事件“明天太阳从东方生气”&＃xff08;概率极大&＃xff09;&＃xff0c;其信息熵比较小

相对熵&＃xff08;KL散度&＃xff09;

相对熵也称为KL散度&＃xff0c;相对熵用于衡量两个分布之间的差异&＃xff0c;也就是两个分布之间的距离&＃xff0c;虽然相对熵可以计算两个分布之间的距离&＃xff0c;但是相对熵不是一个距离函数&＃xff0c;因为距离函数具有对称性&＃xff0c;对称性指的是P到Q的距离等于Q到P的距离&＃xff0c;但是相对熵不具备距离函数的对称性。

交叉熵

交叉熵、KL散度、信息熵的关系&＃xff1a;
公式中的P是真实的概率分布&＃xff0c;也就是训练集中样本的分布&＃xff0c;Q是模型输出的分布&＃xff0c;因为训练集是固定的&＃xff0c;所以H ( P ) 是一个常数&＃xff0c;所以交叉熵在优化的时候是优化相对熵。
下面看两个交叉熵具体计算的例子&＃xff1a;
参考交叉熵损失函数

二分类

多分类

学习过程

交叉熵损失函数经常用于分类问题中&＃xff0c;特别是在神经网络做分类问题时&＃xff0c;也经常使用交叉熵作为损失函数。此外&＃xff0c;由于交叉熵计算中需要输入属于某一类的概率&＃xff0c;所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。
我们用神经网络最后一层输出的情况&＃xff0c;来看一眼整个模型预测、获得损失和学习的流程&＃xff1a;

• 神经网络最后一层得到每个类别的得分scores
• 该得分经过sigmoid(或softmax)函数获得概率输出&＃xff1b;
• 模型预测的类别概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。

同MSE(Mean Squared Error)相比的优势

首先来看sigmoid&＃43;MSE的缺点&＃xff1a;

• 一句话总结&＃xff1a;分类问题中&＃xff0c;使用sigmoid/softmx得到概率&＃xff0c;配合MSE损失函数时&＃xff0c;采用梯度下降法进行学习时&＃xff0c;会出现模型一开始训练时&＃xff0c;学习速率非常慢的情况
• 具体来说&＃xff0c;在sigmoid层的的输入较大或者较小时&＃xff0c;激活函数输出接近于1或者0&＃xff0c;导致Loss相对于W的梯度接近0&＃xff0c;学习困难。

sigmoid&＃43; CELoss的优点

如公式所示&＃xff0c;Loss关于最后一层的w梯度中&＃xff0c;si表示sigmoid的输入&＃xff0c;yi为label&＃xff0c;xi为sigmoid之前的全连接层的输入。
xi -> 全链接层 -> si -> sigmoid层 -> CEloss层。
公式表明&＃xff0c;当激活函数层的输出同label差异较大时&＃xff0c;L关于w的梯度会较大&＃xff0c;从而快速学习。[同生活中“因为明显的犯错可以快速地学习到正确的东西”比较一致]

工程实现中的问题与措施

• softmax自身导致的数值问题
• Softmax loss &＃61; softmax和交叉熵(cross-entropy loss)loss组合而成。
• 所以全称是softmax with cross-entropy loss。
• 在caffe&＃xff0c;tensorflow等开源框架的实现中&＃xff0c;直接将两者放在一个层中&＃xff0c;而不是分开不同层&＃xff0c;可以让数值计算更加稳定&＃xff0c;因为正指数概率可能会有非常大的值
• 参考 softmax数值稳定性 softmax数值稳定性2

softmax的缺点

前面说到&＃xff0c;softmax一般配合CEloss一起使用。但是softmax这个操作具体什么含义呢。

• softmax与hardmax

在CNN的分类问题中&＃xff0c;我们的ground truth是one-hot形式&＃xff0c;下面以四分类为例&＃xff0c;理想输出应该是&＃xff08;1&＃xff0c;0&＃xff0c;0&＃xff0c;0&＃xff09;&＃xff0c;或者说&＃xff08;100%&＃xff0c;0%&＃xff0c;0%&＃xff0c;0%&＃xff09;&＃xff0c;这就是我们想让CNN学到的终极目标。
网络输出的幅值千差万别&＃xff0c;输出最大的那一路对应的就是我们需要的分类结果。通常用百分比形式计算分类置信度&＃xff0c;最简单的方式就是计算输出占比&＃xff0c;这种最直接最最普通的方式&＃xff0c;相对于soft的max&＃xff0c;在这里我们把它叫做hard的max。

而现在通用的是soft的max&＃xff0c;将每个输出x非线性放大到exp(x)

这样做有什么区别呢&＃xff0c;看下面的例子&＃xff1a;

相同输出特征情况&＃xff0c;soft max比hard max更容易达到终极目标one-hot形式&＃xff0c;或者说&＃xff0c;softmax降低了训练难度&＃xff0c;使得多分类问题更容易收敛。同时Softmax鼓励真实目标类别输出比其他类别要大&＃xff0c;但并不要求大很多。对于人脸识别的特征映射&＃xff08;feature embedding&＃xff09;来说&＃xff0c;Softmax鼓励不同类别的特征分开&＃xff0c;但并不鼓励特征分离很多&＃xff0c;如上表&＃xff08;5&＃xff0c;1&＃xff0c;1&＃xff0c;1&＃xff09;时loss就已经很小了&＃xff0c;此时CNN接近收敛梯度不再下降。

• Softmax训练的深度特征&＃xff0c;会把整个超空间或者超球&＃xff0c;按照分类个数进行划分&＃xff0c;保证类别是可分的&＃xff0c;这一点对多分类任务如MNIST和ImageNet非常合适&＃xff0c;因为测试类别必定在训练类别中。封闭集任务有效
• 但Softmax并不要求类内紧凑和类间分离&＃xff0c;这一点非常不适合人脸识别任务&＃xff0c;因为训练集的1W人数&＃xff0c;相对测试集整个世界70亿人类来说&＃xff0c;非常微不足道&＃xff0c;而我们不可能拿到所有人的训练样本&＃xff0c;更过分的是&＃xff0c;一般我们还要求训练集和测试集不重叠。
• 所以需要改造Softmax&＃xff0c;除了保证可分性外&＃xff0c;还要做到特征向量类内尽可能紧凑&＃xff0c;类间尽可能分离&＃xff0c;常见的有L-softmax等

PyTorch中 CEloss应用

PyTorch中 CrossEntropyLoss 等价于 LogSoftmax &＃43; NLLLoss

CrossEntropyLoss 等价于 LogSoftmax &＃43; NLLLoss

PyTorch中的其他损失函数

nn.BCELoss

功能&＃xff1a;二分类交叉熵&＃xff1b;

nn.BCEWithLogitsLoss

BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步

更多loss参考PyTorch中更多loss说明