反向传播算法

1、 Add up everything what you like and everything what you want 梦想，要比昨天走的更远神经网络与深度学习目录目录/contents/contents使用矩阵快速计算输出的方法关于代价函数的两个假设反向传播的四个基本方程及证明反向传播算法反向传播算法为什么要提出反向传播算法？在反向传播算法提出之前人们应该想到了使用SGD学习模型，也想到了一些办法求解网络模型的偏导数，但这些算法求解效率比较低，所以提出反向传播算法来更高效的计算偏导数。反向传播算法最初在1970年代被提及，但是人们直到David Rumelhart,Geoffrey Hi

2、nton和Ronald Wiliams的著名的1986年的论文中才认识到这个算法的重要性。这使得使用神经网络来解决之前无法完成的问题变得可行。现在，反向传播算法已经是神经网络学习的重要组成部分了。神经网络中使用矩阵快神经网络中使用矩阵快速计算输出的方法速计算输出的方法右图给出了网络中第二层的第四个神经元到第三次的第二个神经元链接上的权重偏置和激活值thl联起来了层的激活值通过方程关就和（个神经元的激活值层的第thljththlajl) 1)(1ljlkkljkljbawa（23）（对比上一章公式（4)最后我们引入向量化函数来按照矩阵形式重写公式如果我们的作用函数是2)(xxf，那么向量化的f函

3、数作用就起到下面的效果94)3()2()32(fff了解这些，方程就可以表示为下式)(1llllbawa（24）（25）在使用方程（25）的过程中，我们计算了中间量llllbawz1，这个量其实是非常有用的：我们称层神经元的带权输入为 lzl关于代价函数的两个假设第一个假设就是代价函数可以被写成在没个训练样本x的代价函数xxnxCCC1的均值第二个假设就是代价可以写成神经网络输出的函数xLxaxyC2n21)()(例如二次代价函数满足这个要求，则对于一个单独训练样本x的二次代价函数写作221221)(JLjjLayayC(26)(27)反向传播的四个基本方程及证明我们定义l层的第j个神经元上的

4、误差为ljljZClj（29）解决方案：反向传播基于四个基本方程。这些方程给我们一种计算误差l和代价函数梯度的方法。 输出层误差的方程：)(LjaCLjzLj(BP1)就没有什么大问题了。计算而，给定了代价函数，。然依赖于代价函数的形式）。当然（工作就可以计算这仅仅需要一点点额外络行为时计算特别地，我们在计算网部分都是很好计算的。注意到在公式中的每个LjLjaCaCLjLjzz,使用下一层的误差1l来表示当前层的误差l：)()(11llTllzw（BP2）通过组合（BP1）和（BP2），我们可以计算任何层的误差l。首先使用(BP1)计算L，然后用方程（BP2）来计算1L，然后再次用方程（BP2

5、）来计算2L，如此一步一步地反向传播整个网路。代价函数关于网络中任意偏置的改变率：ljbClj（BP3）这其实是，误差lj和偏导数ljbC 完全一致。这是很好的性质，因为（BP1）和（BP2）已经告诉我们如何计算lj。所以就将（BP3）简记为：bC代价函数关于任何一个权重的改变率：ljlkwCaljk1BP（4）方程可简写为：outinwCa也是成立的。经元的偏置类似的结果对于输出神或者学习非常缓慢）。，权重学习也会终止（经元已经饱和了，并且我们常常称神习缓慢。这样的情形，）时，最终层的权重学）或者高激活值（于或者低激活值（处。所以如果输出神经元）（函数变得非常平。这时的时候或者）近似为（）。

6、当（项）中的层开始，先看看（的方面。让我们从输出同样还有其他可以理解）这四个公式（100101)4(1lkLjlkzzzBPBPBP总结一下，我们已经学到，如果输入神经元激活值很低，或者输出神经元已经饱和了（过高或者过低的激活值），权重会学习缓慢。BP1的证明：义的表达式。回忆这个定给出了误差方程LBP1LjzCLj应用链式法则，我们就可以就输出激活值的偏导数的形式重新表示上面的偏导数：kzaaCLjLjLkLk把方程化简为:LjLjLjzaaCLj回想下)(LjLjza，所以方程变为)(LjaCLjzLj反向传播算法：反向传播方程给出了一种计算代价函数的方法。让我们显示的用算法描述出来。检视这个算法，你可以看到为何它被称作反向传播。我们从最后一层开始向后计算误差向量l。这看起来有点奇怪，为何要从后面开始。但是如果你认真思考反向传播的证明，这种反向移动其实是代价函数是网络输出函数的结果。为了理解代价随前面层的权重和偏置变化的规律，我们需要重复作用链式法则，反向地获得需要的表达式。总结反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数wC 的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快慢。反向传播的大体思路就是找