神经网络第2章-BP神经网络

1、第第2章章 BP神经网络神经网络 已经发展了数十上百种神经网络模型，应用最广泛的是已经发展了数十上百种神经网络模型，应用最广泛的是误差反向传播算法误差反向传播算法(Back Propagation Algorithm，简称，简称BP算法算法)，相应的网络称为，相应的网络称为BP网络。网络。由多层处理单元组成，每层神经元个数不同，通过样本自由多层处理单元组成，每层神经元个数不同，通过样本自学习建立网络输入变量和输出变量之间的非线性映射关系。学习建立网络输入变量和输出变量之间的非线性映射关系。 2-1 BP神经网络基本原理神经网络基本原理 BP网络一般由输入层、隐层和输出层组成，隐层可以网络一般由

2、输入层、隐层和输出层组成，隐层可以为一层或多层，每层上的神经元称为节点或单元。为一层或多层，每层上的神经元称为节点或单元。 标准标准BP模型由模型由3个神经元层次组成，如图个神经元层次组成，如图2.1所示，输入所示，输入层有层有L个处理单元，中间的隐层有个处理单元，中间的隐层有M个处理单元，输出个处理单元，输出层有层有N个处理单元。个处理单元。 标准标准BP模型由模型由3个神经元层次组成，如图个神经元层次组成，如图2.1所示，输入所示，输入层有层有L个处理单元，中间的隐层有个处理单元，中间的隐层有M个处理单元，输出个处理单元，输出层有层有N个处理单元。个处理单元。 图图2.1 三层三层BP神经

3、网络神经网络BP网络误差反向传播算法的基本网络误差反向传播算法的基本思想思想 BP网络按照感知器的工作网络按照感知器的工作原理进行信息处理：原理进行信息处理： niiixtWfty1)()(2-1) 式中式中 为为t时刻输出，时刻输出， 为输入向量的一个分量，为输入向量的一个分量， 为为t时时刻第刻第i个输入的加权，个输入的加权，为阈值，为阈值， 为作用函数。为作用函数。 )(tyix f)(tWi感知器的学习规则为感知器的学习规则为 iiixtydtWtW)()() 1(2-2) 式中式中为学习率为学习率 ，d为期望输出为期望输出(又称教师信号又称教师信号)， 为感知器的输出。为感知器的输出

4、。 ) 10()(ty感知器通过不断调整权重，使得感知器通过不断调整权重，使得 对一切样本对一切样本均保持不变时，学习过程就结束。均保持不变时，学习过程就结束。), 1(niWiBP网络误差反向传播算法的基本思想是：网络误差反向传播算法的基本思想是：根据输出层内各处理单元的正确输出与实际输出之间根据输出层内各处理单元的正确输出与实际输出之间的误差进行连接权系数的调整，使网络的输出尽可能接近的误差进行连接权系数的调整，使网络的输出尽可能接近期望的输出，直到满足事先给定的允许误差，学习停止。期望的输出，直到满足事先给定的允许误差，学习停止。 由于隐层的存在，输出层对产生误差的学习必须通过各层由于隐

5、层的存在，输出层对产生误差的学习必须通过各层连接权值的调整进行，因此，隐层要能对输出层反传过来连接权值的调整进行，因此，隐层要能对输出层反传过来的误差进行学习，这是的误差进行学习，这是BP网络的一个主要特征。网络的一个主要特征。 BP网络的学习算法网络的学习算法 考虑考虑BP网络中某神经元网络中某神经元j如图如图1.2所示，它有所示，它有m个输入信个输入信号号 ，每个输入通过各自的权系数，每个输入通过各自的权系数 与神经元与神经元j相联系。第相联系。第j神经元的综合输入量神经元的综合输入量 为为 mixi1ijWjI 图图1.2 神经单元模型神经单元模型1w1x2xix2wiwjyjimiij

6、jxWI1(2-3) 式中式中 称为该神经元的门槛值或阈值。为了统一表达式，称为该神经元的门槛值或阈值。为了统一表达式，可以令可以令 ,将上式改写成将上式改写成 j,jojW10 ximiijjxWI0(2-4) 第第j神经元的输出神经元的输出 为为 jy jjjIfy (2-5) 式中式中 为神经元为神经元j的传递函数或响应函数，是非线性的传递函数或响应函数，是非线性可微非递减函数，对各神经元可取同一形式。可微非递减函数，对各神经元可取同一形式。 jf传递函数传递函数 通常有通常有jf0-1型型 (2-6) 10jIf时当时当00jjII双曲正切型双曲正切型 (2-8) )exp()/exp

7、()exp()exp()tanh(jjjjjjIIIIIIf )exp(1 1jjIIfSigmoid型型 (2-7)目前，用得较多的传递函数是目前，用得较多的传递函数是Sigmoid型函数或称为型函数或称为S型型函数。函数。BP网络的自学习是通过若干个已知输入和输出的样本，网络的自学习是通过若干个已知输入和输出的样本，来调整权系数来调整权系数 完成的。要求对样本完成的。要求对样本 ，网络输出网络输出 和样本期望输出和样本期望输出 的差值平方和极小，即的差值平方和极小，即ijW)1(Ppp， po pdmin2121jmjpjpjpodE(2-9) 现在考虑图现在考虑图2.2所示所示BP网络，

8、用序号网络，用序号13分别表示输入层、分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序隐层和输出层，为统一符号，规定右上角标表示层的序号，对第号，对第p样本，第样本，第 层的神经元层的神经元j的输入和输出分别用的输入和输出分别用 和和 表示，而对应层的神经元个数为表示，而对应层的神经元个数为 ，对图，对图2.2而而言，言， 。则网络的正向运算为。则网络的正向运算为llpjilpjolmNmMmLm321,现在考虑图现在考虑图2.2所示所示BP网络，用序号网络，用序号13分别表示输入层、分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序隐层和输出层，为统一符号，规定

9、右上角标表示层的序号，对第号，对第p样本，第样本，第 层的神经元层的神经元j的输入和输出分别用的输入和输出分别用 和和 表示，而对应层的神经元个数为表示，而对应层的神经元个数为 ，对图，对图2.2而而言，言， 。则网络的正向运算为。则网络的正向运算为llpjilpjolmNmMmLm321,图图2.2 三层三层BP神经网络神经网络输入层输入层 (2-10)隐层或输出层隐层或输出层 lpjljlpjlpkmkljklpjifooWil10111pjpjio1, 1mj)3, 2, 1(lmjl12)-(211)-(2式中式中 表示第表示第 层的神经元层的神经元 与第与第 层的神经元层的神经元 之

10、间的权系数。之间的权系数。ljkW) 1( lklj网络第网络第 层的神经元层的神经元j的计算输出的计算输出 和样本期望输出和样本期望输出 的差值记为的差值记为lljpoljpdljpljpljpod)3, 2( l(2-13)要对网络的权系数不断进行修正，使得要对网络的权系数不断进行修正，使得 小于事先给定小于事先给定的允许误差，才能完成学习过程，训练结束。对于第的允许误差，才能完成学习过程，训练结束。对于第 次学习过程，权系数修正量次学习过程，权系数修正量 可借鉴不包含隐层的可借鉴不包含隐层的Delta学习算法学习算法(或或 学习算法学习算法)按下式进行调整按下式进行调整(也参见式也参见式

11、(2-2)ljp) 1( t) 1( tWljk 1) 1(ljpljpljkotW)3, 2( l(2-14)式中式中为修正因子，一般取小于为修正因子，一般取小于1的常数，也可以在学习的常数，也可以在学习过程中根据需要而改变。过程中根据需要而改变。 Delta学习算法的改进学习算法的改进 由式由式(2-11)则式则式(2-17)可改写为可改写为将上式与式将上式与式(2-14)比较，可见两者形式相同。比较，可见两者形式相同。 1) 1(ljpljpljkotW)3, 2( l(2-14) 而由式而由式(2-12)有有 对式对式(2-7)的的S型函数，上式成为型函数，上式成为 将式将式(2-23

12、)和式和式(2-24)代入式代入式(2-21)得得 将式将式(2-23)和式和式(2-26)代入式代入式(2-21)并考虑式并考虑式(2-15)得得 式式(2-16)和式和式(2-20)给出给出 需要指出的是，当选用需要指出的是，当选用0-1型和型和Sigmoid型传递函数时，网型传递函数时，网络输出的值域为络输出的值域为(0,1)而双曲正切型的值域为而双曲正切型的值域为(-1,1)，对于超，对于超出此区间的样本期望输出，均需作归一化处理。出此区间的样本期望输出，均需作归一化处理。 训练好的训练好的BP网络已经建立了输入变量与输出变量之间的网络已经建立了输入变量与输出变量之间的非线性映射关系，

13、可用于结构损伤非线性映射关系，可用于结构损伤(裂纹裂纹)识别等反问题的识别等反问题的求解。该法的特点是具有较好的鲁棒性，对测量结果的微求解。该法的特点是具有较好的鲁棒性，对测量结果的微小误差不很敏感。小误差不很敏感。 BP网络学习网络学习(迭代迭代)运算步骤如下：运算步骤如下：事先确定隐层的层数及各隐层的神经元个数事先确定隐层的层数及各隐层的神经元个数 2.2 BP网络计算框图网络计算框图BP网络计算框图网络计算框图(流程图流程图)见图见图2.3： 2.3 BP网络的特点和存在的问题网络的特点和存在的问题 (1) 是一种非线性映射关系是一种非线性映射关系 是静态系统而非动力学系统，故不涉及稳定

14、性问题。是静态系统而非动力学系统，故不涉及稳定性问题。 (2) BP算法收敛速度很慢算法收敛速度很慢 主要由于多峰优化问题，只找主要由于多峰优化问题，只找到局部最优解，产生麻痹，如到局部最优解，产生麻痹，如图图2.4。A全局最优点全局最优点B局部优化点局部优化点图图2.4 多峰优化问题寻优过程示意图多峰优化问题寻优过程示意图 (3) 对隐层的层数及各隐层的神经元个数尚无理论上的推导对隐层的层数及各隐层的神经元个数尚无理论上的推导 (4) 对加入的新样本，网络需要重新学习对加入的新样本，网络需要重新学习 2.4 Kolmogorov定理定理Kolmogorov(连续函数表示连续函数表示)定理定理

15、(1957年年)： 2.5 算例算例1NN.FOR221412122212122245 . 44)(xxxxxxxxxXf驻值点由：驻值点由： 8091. 2)(5134. 0)(9855. 0)(4929. 1 ,6117. 0028. 1 ,053. 1854. 3,914. 10032132121XfXfXfXXXxfxf 需要利用导师信息，给出网格点的值作信息，共需要利用导师信息，给出网格点的值作信息，共77=49对对数据点，见表数据点，见表2-1。x1位于位于-33之间，而之间，而x2位于位于-24之间。之间。 表表2-1 神经网络训练数据表神经网络训练数据表x1x2f(X)x1x2

16、f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239 程序程序

17、NN.FOR使用说明：使用说明： 数据值应在数据值应在(0,1)之间，故应作归一化处理：之间，故应作归一化处理：62632211xxxx进行坐标平移及数据归一化处理，分子进行坐标平移及数据归一化处理，分子平移；分子平移；分子/分母分母归一化。归一化。x1最小值为最小值为-3，x2最小值为最小值为-2，取值区间分别为，取值区间分别为3-(-3)=6和和4-(-2)=6。规格化处理：规格化处理： 2.6 算例算例2考虑：考虑：1、移轴及归一化和上下限改变的影响；、移轴及归一化和上下限改变的影响； 2、随机数起始点改变；、随机数起始点改变； 3、初始数据范围、初始数据范围(x1，x2)。 大作业大作业1：对基本神