BP神经网络详细讲解

1、PS：这篇介绍神经网络是很详细的，有一步一步的推导公式！神经网络是DL （深度学习）的基础。如果对神经网络已经有所了解，可以直接跳到三、BP算法的执行步骤“部分，算法框架清晰明了。另外，如果对 NM艮感兴趣，也可以参阅最后两篇参考博文，也很不错！学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法.而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。自从40年代Hebb提出的学习规则以来，人们相继提出了各种

2、各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP （error BackPropagation ）法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。1. 2 . 1神经网络的学习机理和机构在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如 BP网络，Hopfield 网络，ART网络和Kohonen网络中；BP

3、网络和Hopfield 网络是需要教师信号才能进行学习的；而ARTW络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。一、感知器的学习结构感知器的学习是神经网络最典型的学习。目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。一个有教师的学习系统可以用图1 7表示。这种学习系统分成三个部分：输入部，训练部和输出部。训练部一3:， I实际输出A输入部 一* W ；一输出部 一V ! ： ' t二一I |：误差e：J（S；_:1戴师信号（期望输出信号）图1-7神经网络学习系统框图输入部接收外

4、来的输入样本 X由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数 W学习机构可用图18所示的结构表示。在图中，X X2,，Xn,是输入样本信号，w W，w是权系数。输入样本彳a号x可以取离散值0"或1”输入样本信号通过权系数作用，在u产生输出结果 口 WX即有：u=B/VX =WX+WX+ +WX再把期望输出信号 丫 和u进行比较，从而产生误差信号 e。即权值调整机构根据误差 e去对学 习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际

5、输出值u和期望输出值 丫 (t)完全一样，则学习过程结束。期望辑出y图学可机构神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。原因在于神经网络的权系数W有很多分量 W W -W n ；也即是一个多参数修改系统。系统的参数的调整就必定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。、感知器的学习算法感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图1-9所示。M -W1='一*( 21时，

6、输入样本称为 A类；输出为-1时，输入样本称为 B类。从上可即是，当感知器的输出为 知感知器的分类边界是：(1-15)在输入样本只有两个分量X1, X2时，则有分类边界条件：Zw.x.-O-O (1-16)WX1+WX- 6 =0(1-17)也可写成这时的分类情况如固 1 10所示。感知器的学习算法目的在于找寻恰当的权系数w= (w1 , w2，Wn)使系统对一个特 定的样本x = (xt , x2,，xn)熊产生期望值do当x分类为A类时，期望值d= 1; X为B类 时，d=-1 为了方便说明感知器学习算法，把阀值 6并人权系数 w中，同时，样本x也相应增加一 个分量Xn+1。故令：W+i

7、=- 6, x+i =1(1-19)则感知器的输出可表示为:n 11(1-20)感知器学习算法步骤如下：1 ?对权系数w置初值对权系数 w (W? W，w W )的各个分量置一个较小的零随机值，但W = - 0O并记为 W(0) , W(0),，W/(0),同时有 Wn+1(0) = - 0。这里 W为t时刻从第i个 输入上的权系数，i =1, 2,，n° W (t)为t时刻时的阀值。do2?输入一样本 X= (Xi, X2，X+i )以及它的期望输出期望输出值d在样本的类属不同时取值不同。如果x是A类，则取d= 1,如果x是B类，则取-1期望输出d也即是教师信号。3 ?计算实际输出

8、值 丫二 14 ?根据实际输出求误差ee= d Y(t) (1-21)5 ?用误差e去修改权系数Wi(t* 1J = W i(t) + 7j-e*X ii=1,2,，n,n+1(1-22)其中，n称为权重变化率，0 耳在在式(1 22)中，n的取值不能太大？如果1取值太大则会影响 w (t)的稳定；的取值也不能太小，太小则会使 W/(t)的求取过程收敛速度太慢。当实际输出和期望值 d相同时有：W(t+1)=W i (t)6?转到第2点，一直执行到一切样本均稳定为止。从上面式(1 14)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。下面对感知器实

9、现逻辑函数的情况作一些介绍。例：用感知器实现逻辑函数XVX勺真值：X0011为0101X V X2 0111以X1VX2= 1为A类，以X1VX2=Q B类，则有方程组rwo+w2-o-e<o W1-0+w 2*i-eAoW +W 2'O-0AO Awri + w2-i-(1-23)eAo即有:6>0从式(1 24)有：W > , W>0令 W=1W=2则有：e<i取 e=0.5则有：X1+X2-0.5=0,分类情况如图,(1-24)WL0iwL -t111所小。W品(O,O.5)X ?(1.1)A Xi(0.5,0、(1.0)X1 + X2 =图1-11

10、逻辑函数Xi VX2的分类1. 2 . 2神经网络学习的梯度算法使到网络对于所输入的模式 权系数就反映了同类输人由于权系数是分散存在的，故从感如器的学习算法可知，学习的目的是在于修改网络中的权系数 ，样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然 模式样 本的共同特征。换句话讲，权系数就是存储了的输人模式。神经网络自然而然就有分布存储的特点。前面的感知器的传递函数是阶跃函数，所以，它可以用作分类器。前面一节所讲的感知器学习算法因其传递函数的简单而存在局限性。感知器学习算法相当简单，并且当函数线性可分时保证收敛。但它也存在问题：即函数不是线性可分时，则求不出结果；另外，不能推广到一

11、般前馈网络中。为了克服存在的问题，所以人们提出另一种算法梯度算法(也即是LMS法)。为了能实现梯度算法，故把神经元的激发函数改为可微分函数，例如Sigmoid函数，非对称Sigmoid 函数为 f(X)=1/(1+e -x )，对称 Sigmoid 函数 f(X)=(1-e -x )/(1+e -x );而不采用式(1 13)的阶跃函数 对于给定的样本集 Xi(i = 1,2, n),梯度法的目的是寻找权系数W使得f W* X与期望输出Yi尽可能接近。设误差e采用下式表示：1-e = rS(Yi- Yj2 (1-25)1其中，Y = f WXi 是对应第i个样本X的实时输出 Y是对应第i个样本

12、X的期望输出要使误差e最小，可先求取 e的梯度：(对每一个样本的期望与输出值求导)令Uk=WXk,则有:迪如3吐% 3Y aw 3u kCjWjk舄aUkAt(1-28)即有:兑二-血一 &"血7 (1-29)最后有按负梯度方向修改权系数W勺修改规则：（VW1=W+AW(1-30)W'二P £ Yi 一玄）口甘（UJ 区i = L也可写成：1-31 )%1 锐"/ 1 (-需)一耳(在上式（1 30）,式（1 31）中，口是权重变化率，它视情况不同而取值不同，一般取0-1之间的小数。很明显，梯度法比原来感知器的学习算法进了一大步。其关键在于两点:1

13、 ?神经元的传递函数采用连续的s型函数，而不是阶跃函数;即加强了收敛进程。2?对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。故而有更好的动态特能,但是梯度法对于实际学习来说,仍然是感觉太慢；所以，这种算法仍然是不理想的。1 ? 2 ? 3反向传播学习的BP算法反向传播算法也称 BP算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，经网络的拓扑结构是一种无反馈的多层前向网络。故而 ？有时也称无反馈多层前向网络为 型。BP算法也通常暗示着神BP模在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。层网络的学习算法。在多层网络中？它只能改变最后权系数