louvian算法缺点优化_深度学习中的优化算法

非原创&＃xff0c;已表明出处&＃xff0c;不是为了吸粉&＃xff0c;仅仅是为了做笔记

——————————————————————————————————————

1. 微信搜索&＃xff1a;深度学习中的优化算法串讲

2. 微信搜索&＃xff1a;详解深度学习中的常用优化算法

3. ZHOU-JC&＃xff1a;从动量和矩的角度探讨优化理论的内涵(以动量法、AdaGrad和Adam举例)

4. 陈楠&＃xff1a;深度模型优化算法SGD、Momentum、NAG、AdaGrad、RMSProp及Adam等

SGD缺点&＃xff1a;

1. 收敛速度慢
2. 容易陷入局部最优
3. 全局学习率

固定学习率的优化算法

SGD&＃xff0c;Momentum&＃xff0c;NAG

自适应学习率的优化算法

AdaGrad&＃xff0c;Adam&＃xff0c;Nadam

“自适应学习率”优化算法时代的到来。SGD及其变种以同样的学习率更新每个参数&＃xff0c;但深度神经网络往往包含大量的参数&＃xff0c;这些参数并不是总会用得到&＃xff08;想想大规模的embedding&＃xff09;。对于经常更新的参数&＃xff0c;我们已经积累了大量关于它的知识&＃xff0c;不希望被单个样本影响太大&＃xff0c;希望学习速率慢一些&＃xff1b;对于偶尔更新的参数&＃xff0c;我们了解的信息太少&＃xff0c;希望能从每个偶然出现的样本身上多学一些&＃xff0c;即学习速率大一些。