常见损失函数小结

摘要

本文主要总结一下常见的损失函数&＃xff0c;包括&＃xff1a;MSE均方误差损失函数、SVM合页损失函数、Cross Entropy交叉熵损失函数、目标检测中常用的Smooth L1损失函数。

其中还会涉及到梯度消失、梯度爆炸等问题&＃xff1a;MSE均方误差&＃43;Sigmoid激活函数会导致学习缓慢&＃xff1b;Smooth L1损失是为了解决梯度爆炸问题。仅供参考。

一、均方误差损失(Mean Squared Error&＃xff0c;MSE)

1、均方误差损失定义&＃xff1a;

均方差损失函数常用在最小二乘法中。它的思想是使得各个训练点到最优拟合线的距离最小&＃xff08;平方和最小&＃xff09;。均方差损失函数也是我们最常见的损失函数了&＃xff0c;相信大很熟悉了&＃xff0c;我们用神经网络中激活函数的形式表达一下&＃xff0c;定义如下&＃xff1a;

Sigmoid的导数推导以及图像&＃xff1a;

从sigmiod的导数图像中可以看到&＃xff0c;除了中间比较小的区域&＃xff0c;其他区域的十分值接近于0。

神经网络的反向传播是逐层对函数偏导相乘&＃xff0c;因此当神经网络层数非常深的时候&＃xff0c;最后一层产生的偏差&＃xff08;网络输出和标签之间的偏差&＃xff09;因为乘了很多的小于1的数而越来越小&＃xff0c;最终就会变为0&＃xff0c;从而导致层数比较浅的权重w没有更新&＃xff0c;即梯度消失。可以看出&＃xff0c;sigmoid函数作为激活函数本身就存在梯度消失的问题。

&＃xff08;2&＃xff09;MSE均方误差&＃43;Sigmoid激活函数&＃xff1a;输出层神经元学习率缓慢

先以一个故事来进入主题&＃xff1a;“我们大多数人不喜欢被指出错误。在开始学习弹奏钢琴不久后&＃xff0c;我在⼀个听众前做了首秀。我很紧张&＃xff0c;开始时将八度音阶的曲段演奏得很低。我很困惑&＃xff0c;因为不能继续演奏下去了&＃xff0c;直到有个人指出了其中的错误。当时&＃xff0c;我非常尴尬。不过&＃xff0c;尽管不开心&＃xff0c;我们却能够因为明显的犯错快速地学习到正确的东西。你应该相信下次我再演奏肯定会是正确的&＃xff01;相反&＃xff0c;在我们的错误不是很好地定义的时候&＃xff0c;学习的过程会变得更加缓慢。”理想地&＃xff0c;我们也希望和期待神经网络可以从错误中快速地学习。

我们以一个神经元&＃xff0c;MSE均方误差损失

&＃xff08;2&＃xff09;交叉熵损失&＃xff1a;

公式定义如下&＃xff1a;

则该图片的交叉熵损失为&＃xff1a;

&＃xff08;2&＃xff09;对数图像&＃xff1a;

网络输出转化为概率后&＃xff0c;范围必然是0-1&＃xff0c;又取负对数得到最后的损失值。根据下面的负对数图像&＃xff0c;这样做扩大低概率高损失、高概率低损失的差距&＃xff0c;同样使得损失函数对网络输出“更敏感”&＃xff0c;更有利于分类。

3、交叉熵损失&＃43;Sigmoid激活函数&＃xff1a;

&＃xff08;1&＃xff09;推导&＃xff1a;

接着上一部分留下的问题&＃xff0c;我们仍然以Sigmoid激活函数

→这里也小结一下ReLU函数相对于tanh和sigmoid函数好在哪里&＃xff1a;

·第一&＃xff0c;采用sigmoid等函数&＃xff0c;算激活函数是&＃xff08;指数运算&＃xff09;&＃xff0c;计算量大&＃xff1b;反向传播求误差梯度时&＃xff0c;求导涉及除法&＃xff0c;计算量相对大。而采用Relu激活函数&＃xff0c;整个过程的计算量节省很多。

·第二&＃xff0c;对于深层网络&＃xff0c;sigmoid函数反向传播时&＃xff0c;很容易就会出现梯度消失的情况&＃xff08;在sigmoid接近饱和区时&＃xff0c;变换太缓慢&＃xff0c;导数趋于0&＃xff09;&＃xff0c;这种情况会造成信息丢失&＃xff0c;梯度消失在网络层数多的时候尤其明显&＃xff0c;从而无法完成深层网络的训练。

·第三&＃xff0c;ReLU会使一部分神经元的输出为0&＃xff0c;这样就造成了网络的稀疏性&＃xff0c;并且减少了参数的相互依存关系&＃xff0c;缓解了过拟合问题的发生。

三、SVM合页损失

1、定义&＃xff1a;

合页损失函数想让正确分类的“得分”比其他错误分类的“得分”高出至少一个边界值

→这里看一个计算合页损失的小例子&＃xff1a;

仍然假设共有三个类别cat、dog、bird&＃xff0c;那么一张cat的图片标签应该为

整理一下就是&＃xff1a;

通过上式可以看出&＃xff1a;

①当 时&＃xff0c;即预测值和目标值相差小于1&＃xff0c;不易造成梯度爆炸&＃xff0c;此时还原成均方误差损失形式并给一个0.5的平滑系数&＃xff0c;即 &＃xff1b;

②当 时&＃xff0c;即预测值和目标值相差大于等于1&＃xff0c;易造成梯度爆炸&＃xff0c;此时降低损失次幂数&＃xff0c;变成 &＃xff0c;这时候反向传播求导时候就不存在 这一项了&＃xff0c;从而防止了梯度爆炸。

→这里最后再给出解决梯度爆炸的一些其他方法:

&＃xff08;1&＃xff09;减少学习率&＃xff08;个人理解梯度爆炸是模型训练发散的一种情况&＃xff09;&＃xff1b;

&＃xff08;2&＃xff09;使用ReLU函数&＃xff0c;使得梯度稳定&＃xff1b;

&＃xff08;3&＃xff09;使用正则化&＃xff0c;即检查网络中权重的大小&＃xff0c;对较大的权重进行惩罚&＃xff0c;限制了梯度爆炸造成的权重变得很大的情况。