CV北邮鲁鹏老师全连接神经网络(下)learningdialog(6)

https://www.bilibili.com/video/BV1V54y1B7K3?p&＃61;6https://www.bilibili.com/video/BV1V54y1B7K3?p&＃61;6https://www.bilibili.com/video/BV1V54y1B7K3?p&＃61;6

回顾&＃xff1a;

基于动量法的GD&＃xff1a;注意他是直接改变梯度值 g &＃61; f(g)

        减少震荡&＃xff1a;震荡的时候梯度是正负值依次出现&＃xff0c;因此用上一次的梯度值来抵消这一次的梯度

        加速平坦&＃xff1a;累加

基于自适应思想的GD:这种方法没有利用震荡时梯度正负值交替出现的特点&＃xff0c;而是利用平方运算(平方梯度)放  大梯度的大小&＃xff0c;改造学习率&＃xff0c;从而达到有效梯度下降的目的

关于loss

&＃xff08;1&＃xff09;一般的loss计算

&＃xff08;2&＃xff09;带正则损失的loss计算

&＃xff08;3&＃xff09;softmax交叉熵

过拟合与欠拟合

overfit:参数过多&＃xff0c;过于复杂的模型掩盖了真正重要的参数&＃xff0c;相当于只是牢牢记住训练集。比如说学习识别猫&＃xff0c;有些图像猫只有三只脚&＃xff0c;模型就记住了这一点

underfit:参数过少&＃xff0c;没有触及到多数真正重要的参数

总的来说&＃xff0c;两者都没能很好地学习到数据特征

由此&＃xff0c;ML的根本问题就是模型的优化和泛化

 大框可以叫训练前期&＃xff0c;小框可以叫训练后期

处理overfit

最优方案&＃xff1a;增加数据集。比如说获取全世界所有的猫图片

次优方案&＃xff1a;1.缩小网络  2.增加正则损失&＃xff0c;因为他使模型朝向权值分散修正&＃xff0c;尽量使用所有特征

                  3.随即失活&＃xff0c;丢弃学习。一方面缩小了网络&＃xff0c;一方面间接起到了分散权值的作用 &＃xff0c;最后可以看作多个小网络的集成

随机失活的评估

假设dropout &＃61; 0.5,可以计算出训练阶段输出层某个神经元的期望&＃xff0c;比较测试阶段该神经元的期望&＃xff0c;就会发现两者不匹配&＃xff0c;需要乘上一个dropout

那么我们就设置一个dropout层&＃xff0c;在做随机失活的同时先除掉这个dropout.

dropout层的计算不是按照矩阵乘法的规则&＃xff0c;而是按位相乘

超参数调优

法一&＃xff1a;排列组合&＃xff0c;网格法

法二&＃xff1a;随机搜索。感觉上还是要在跟网格法一样的取值范围内

如何进行随机搜索&＃xff1f;

1.粗搜索。在较大范围内采样&＃xff0c;训练一个周期&＃xff0c;选择验证集正确率小的范围

2.精搜索&＃xff1a;在上步骤训练5-10个周期&＃xff0c;选择在验证机上精度最高的 

搜索的范围如何确定&＃xff1f;超参数的标尺空间&＃xff1f;

这个值要涉及到不同量级&＃xff0c;所以是在log空间中选取