优化函数框架

框架

该总结框架来自知乎文章&＃xff1a;一个框架看懂优化算法之异同 SGD/AdaGrad/Adam

给定参数$w$&＃xff0c;损失函数$f(w)$, 学习率 $\alpha$&＃xff0c;对于第$t$个step&＃xff1a;

1. 计算目标函数关于当前参数的梯度&＃xff1a; gt&＃61;∇f(wt)g_{t}&＃61;\nabla f\left(w_{t}\right)gt​&＃61;∇f(wt​)
2. 根据历史梯度&＃xff0c;计算一阶动量和二阶动量&＃xff1a;
   一阶动量&＃xff1a;mt&＃61;ϕ(g1,g2,⋯,gt)m_{t}&＃61;\phi\left(g_{1}, g_{2}, \cdots, g_{t}\right)mt​&＃61;ϕ(g1​,g2​,⋯,gt​)
   二阶动量&＃xff1a;Vt&＃61;ψ(g1,g2,⋯,gt)V_{t}&＃61;\psi\left(g_{1}, g_{2}, \cdots, g_{t}\right)Vt​&＃61;ψ(g1​,g2​,⋯,gt​)
3. 计算当前时刻的下降梯度&＃xff1a;ηt&＃61;α⋅mt/Vt\quad \eta_{t}&＃61;\alpha \cdot m_{t} / \sqrt{V_{t}}ηt​&＃61;α⋅mt​/Vt​

   ​

4. 根据下降梯度更新参数&＃xff1a; wt&＃43;1&＃61;wt−ηtw_{t&＃43;1}&＃61;w_{t}-\eta_{t}wt&＃43;1​&＃61;wt​−ηt​

其中&＃xff1a;

一阶动量&＃xff1a;当前时刻梯度值的指数移动平均
mt&＃61;ϕ(g1,g2,⋯,gt)&＃61;βmt−1&＃43;(1−β)gtm_{t}&＃61;\phi\left(g_{1}, g_{2}, \cdots, g_{t}\right) &＃61;\beta m_{t-1}&＃43;(1-\beta) g_{t}mt​&＃61;ϕ(g1​,g2​,⋯,gt​)&＃61;βmt−1​&＃43;(1−β)gt​

二阶动量&＃xff1a;之前所有时刻梯度值的平方和

Vt&＃61;ψ(g1,g2,⋯,gt)&＃61;∑i&＃61;1tgi2V_{t}&＃61;\psi\left(g_{1}, g_{2}, \cdots, g_{t}\right)&＃61;\sum_{i&＃61;1}^{t} g_{i}^{2}Vt​&＃61;ψ(g1​,g2​,⋯,gt​)&＃61;∑i&＃61;1t​gi2​