人工神经网络——【BP】反向传播算法证明

第一步：前向传播

【注】此BP算法的证明仅限sigmoid激活函数情况。

简单的三层网络结构如下

参数定义：

    可见层定义为X，共有n个单元，下标用 i表示

    隐藏层定义为B，共有p个单元，下标用 j 表示

    输出层定义为Y，共有q个单元，下标用 k表示

    可见层到隐藏层权重矩阵为W，大小为 n*p

    隐藏层到输出层权重矩阵为V，大小为p*q

① 计算隐藏层各神经元激活值

代表所有可见层单元乘以连接到第j个隐单元的权重，再减去偏置或者阈值

②计算隐含层单元的输出值

采用sigmoid函数即S型函数

③计算输出层各神经元激活值

④计算输出层单元的输出值

第二步：逆向传播      校正是从后往前进行的，所以称为误差逆传播，计算是从输出层到隐藏层，再从隐藏层到输入层。更新的是权重和偏置，称为模型参数      两层的权重和偏置的更新是类似的，下面以输出层到隐藏层的权重和偏置更新为例。 采用平方和误差衡量期望输出与实际输出的差别：

输出层→隐藏层的更新

先对权重求梯度：
【注】上式中最后一个等号左边第二项求导利用对sigmoid函数求导
接下来对偏置求梯度

隐藏层→输入层的更新

【注】建议这一层的更新，读者认真推导，这样会对BP的更新有更深刻的印象
 

第四步：模型参数校正 这一步就非常简单啦，直接用原始的模型参数，减去现在的模型参数就行啦，其中会加入一个学习率η，控制梯度下降速度
第五步：一般性推导 【注】以下纯为个人理解，与网络上那些复杂点的公式可能有出入，实际情况有待考证．．．．．．．．．．．．．． 上面只是三层BP神经网络的推导，看着已经很复杂了，这时候会产生一个想法：如果是很多层的BP神经网络该如何去推导？难道是每一层都得从最后一层挨个朝前推导一次？这时候就得考察我们的归纳能力。这里有一个题外话，何为归纳？何为演绎？简单点，归纳就是从特殊性到一般性，而演绎则是从一般到特殊。当然内中道理还有很多，就不说了。 如何去归纳，这里就得说到BP中经常遇到的一个词语：链式求导。如果不知道具体定义也没事，朝下看： ①从最后一个权重开始看：这个权重连接了中间隐层和最后的输出层，求导过程是对输出层的sigmoid激活函数求导，然后进一步得到的结果是：输出误差＊输出值＊(1-输出值)＊(隐层值)，换个方法说：权重右边的输出误差＊权重右边的输出＊(1-权重右边的输出)＊(权重左边的输出)；——分割线——权重连接的右边层的偏置更新就是去掉权重更新中乘以的权重左端值的那一参数（即权重连接的左层单元的值）。 ②然后看倒数第二个权重：这个权重连接了原始输出层和中间隐层，求导过程还是对输出层的sigmoid激活函数求导，只不过求导对象是第二个权重，而不是①中的权重。接下来发现不好求导，需要按照求导法则变换，变成了最后的输出层对隐层的输出求导乘以隐层输出对第二个权重的求导，可以发现这两个都好求，因为他们都直接存在与被求导的激活函数(也就是分母的表达式)中。然后发现输出层关于第二层权重的导数变成了：权重右边某种值＊权重右边的输出＊(1-权重右边的输出)＊(权重左边的输出)。发现与①很相似，只不过第一项有差别，然后观察何为“权重右边某式”，发现就是此层权重的后一层权重连接的层的偏置更新乘以连接到后一层的权重。 这样总结出一个规律： 建立的一个BP网络如下，注意，最后的伪层只是第n层的副本，实际的BP是没有这一层的，此处只是为了方便理解罢了，原因继续看下去：
如图所示，Ｗ左边连接层Ａ，右边连接层Ｂ，Ｂ层的下一层是Ｃ,B和Ｃ的连接权重为Ｖ，Ｃ的偏置更新为，B的偏置更新为，则按照归纳的结论可以得到下式：

但是突然想到当A是第n-1层的时候，并没有对应的"C"层去计算第n-1层到第n层的连接权重，所以在此我们建立了第n层数据的副本，称为伪层，那么此时C就是伪层了，对应的伪层偏置设置为：
对应的第n层到伪层的连接权重的全为1 这样一来，我们可以轻松发现，BP的更新步骤可以用一个递归来解决： 步骤1：建立一个伪层副本，伪层偏置设置为△c，伪层与输出层（第n层）的连接权重为V 步骤2：从伪层往前推，建立一个层数为3的滑动窗口，从左到右依次称为上面介绍过的A、B、C层 步骤3：套用上面ABC更新△W和△b的方法去计算权重与偏置梯度 步骤4：返回步骤2（即往前移动一层） 步骤5：每一层的更新后参数就是

附录：参数调整方法 以下摘自【模式识别与智能计算——MATLAB技术实现】 梯度下降法 有动量的梯度下降法 有自适应lr的梯度下降法 有动量加自适应lr的梯度下降法 弹性梯度下降法 Fletcher-Reeves共轭梯度法 Polak-Ribiere共轭梯度法 Powell-Beale共轭梯度法 量化共轭梯度法
三层BP神经网络学习的过程： ①输入模式顺传播（输入模型由输入层经隐藏层向输出层传播） ②输出误差逆传播（输出的误差由输出层经隐含层传向输入层） ③循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行) ④学习结果判定（判定全局误差是否趋向极小值）
UFLDL中的证明：UFLDL