BP神经网络理论

1、神经网络简介：神经网络是大脑的一个组成部分。James在 1890年的心理学一书中这 样描述神经网络的基本原理：大脑皮层每一点的活力是由其它点势能释放的 综合效能产生的，这些势能与如下因素有关： （ 1 ）相关点的兴奋次数； （2） 兴奋的强度；（3）与其不相连的其它点所接受的能量。他的这一原理一直沿 用至今。到目前为止，神经网络的研究主要分为两个派别：一派主要包括生 物学家、物理学家和心理学家等，他们研究的主要目的是给出大脑活动的描 述和精细模型；另一派主要包括工程技术人员等，他们关心的是怎样利用神 经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有效的 计算能力，我们称之为神经

2、网络的工程应用研究，或称为人工神经网络 （artificial neural network, ANN ），简称为神经网络。人工神经网络可以分为 前向型和反馈型两类：前向型神经网络的特点是信息传递由后层神经元向前 层神经元传递，同一层内的神经元之间没有信息交流；反馈型神经网络中的 神经元之间不但相互作用， 而且自身也有信息内耗。 BP 神经网络是一种多层 前向神经网络，名字源于网络权值的调整规则采用的是后向传播学习算法 （也 称为反推学习规则） ，即 BP 学习算法 （back-propagation,BP）。BP学习算法是Rumelhart等在1986年提出的。至此以后，BP神经 网络得到了

3、广泛的实际应用，据统计，80%90%的神经网络模型都采用了 BP 网络或者它的变形。BP 神经网络理论BP 神经网络是一种单向传播的多层前向型网络，其结构如图所示。由图可 见， BP 网络是一种具有三层或三层以上的神经网络， 包括输入层、中间层（隐 层）和输出层。上下层之间实现全连接，而每层神经元之间无连接。当一对 学习样本提供给网络后， 神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与误 差的方向，从输出层经过各中间层逐步修正各连接权值，最后回到输入层， 这种算法称为“误差逆传播算法”，即BP算法，随着这种误差逆的传播修正 不断进

4、行，网络对输入模式响应的正确率也不断上升。BP网络的传递函数要求必须是可微的，常用的有 Sigmoid型的对数、正切函数或线性函数，即1logsig(x)x1 +exx-Xtansig(x) = x $e +epurelin(x) = xx2BP网络学习规则下面以一个三层BP网络为例，介绍BP网络的学习过程及步骤。 首先对符号的形式及意义说明如下：网络输入向量Pk = (a! ,a2,.,an)；网络目标向量Tk =(y1, y2,., yq);中间层单元输入向量 Sk =g,S2，.,Sp)，输出向量B(b1jb2j.,bp);输出层单元输入向量 Lk = (», l2，,lq)；

5、输出向量Ck = (cj ,c2,cq);输入层至中间层的连接权 Wj , i =1,2,n , j =1,2,.p ;中间层至输出层的连接权 与 j =1,2,.p , t = 1,2,., q ;中间层各单元的输出阈值 片，j二1,2,.p ;输出层各单元的输出阈值t , t = 1,2,.,q ;参数k =1,2，,m，为训练样本序号。BP网络学习过程及步骤如下：(1) 初始化。给每个连接权值Wij、Vjt、阈值二j、t赋予区间(-1,1)内的随机值。(2) 随机选取一组输入和目标样本Pk=(ak,ak,ak)、12nk kk >Tk =(y1,y2,-,yq)提供给网络。(3)

6、用输入样本Pk - (ak, ak,., ak )、连接权Wj和阈值71 j计算中间层各12n单元的输入Sj，然后用Sj通过传递函数计算中间层各单元的输出bj。nSj =二 Wijak -j， j =1,2,.pi =bj = f (Sj )， j = 1,2,. p(4) 利用中间层的输出bj、连接权vjt和阈值t计算输出层各单元的输出Lt，然后通过传递函数计算输出层各单元的响应Ct oPLt = ' Vjtbj -卞t， t =1,2,.,qjmCt = f(Lt)， t = 1,2，,q(5) 利用网络目标向量Tk = (yk,yk,yk)，网络实际输出Ct，计算输出1 2 q层

7、的各单元一般化误差dk。d$ =(y$ Ct) Ct (1 -5)，t =1,2,.,q(6) 利用连接权vjt、输出层的一般化误差dtk和中间层的输出bj计算中 间层各单元的一般化误差ek。qek =V dtk Vjjbj(1 -坷)tw(7) 利用输出层各单元的一般化误差dtk与中间层各单元的输出bj来修正 连接权Vjt和阈值t。Vjt(N 1) =Vjt(N) ： dtk bjt(N 1) = t(N): dkt =1,2，,q， j =1,2,.p，01(8) 利用中间层各单元的一般化误差ek，输入层各单元的输入 Pk =(ak,ak,.,ak)来修正连接权wiS和阈值十。12nwij

8、(N 1) =Wjj(N)： ef akt（N 1） - r（N ） eki = 1,2,n , j = 1,2,. p , 01（9） 随机选取下一个学习样本向量提供给网络，返回到步骤（3）,直到m 个训练样本训练完毕。（10）重新从m各学习样本中随机选取一组输入和目标样本， 返回步骤（3）， 直到网络全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次 数大于预先设定的值，网络就无法收敛。（11）学习结束可以看出，在以上的学习步骤中，（7）（8）步为网络误差的“逆传播过 程” （9）（10）步则用于完成训练和收敛过程。用BP神经网络预测本实验中的过滤效应与透气量。对于BP网络，有一个

9、非常重要的定理，即对于任何在闭区间内连续的 函数都可以用单隐层BP网络逼近，因而一个三层BP网络就可以完成任意的 n维到m维的映射，因此，本实验使用三层 BP网络进行预测，学习函数： 输入层到隐层使用tan sig函数，隐层到输出层使用logsig函数。在原数据表中选取同一条件下的每一组数据中的第一个数据作为测试 数据，剩余数据为训练数据样本。训练数据如下表。表3-4 聚乳酸熔喷非织造布在不同工艺下的过滤效率温度/CDCD/cm宀曰./ 定量 /-2g m过滤效率/%温度/CDCD/cm宀曰./ 定量 /-2g m过滤效率/%2501045017.162701510090.8925010450

10、16.782701510089.872501045017472501045013.30270209894.732501527047.35270209893.572501527047.37270209894.152501527048.32270253274.402501527049.71270253265.802502024039982502024043.16270253271.872502024043.02290521133.102502024042.12290521144.10250256372.80290521145.4925025637

11、3.44290521135.67250256374.612901019549.06250256372.972901019554.46270511276.792901019543.89270511275.412901019546.76270511273.782901517860.16270511272.812901517858.222701015284.992901517859.092701015286.942901517860.012701015283.652902016164.082701015282.782902016169.802701510091.262902016165.862701

12、510093.282902016163.09表3-5聚乳酸熔喷非织造布在不同工艺条件下的透气量温度/CDCD/c m宀曰./ 定量/-2g m透气量-2 -1 /L m s温度/cDCD/cm定量1 -2 /g m透气量/L m-2 s-1250104504927015100366250104505127015100319250104504327020985132501045040270209842525015270166270209837225015270176270209830925015270174270253210202501527016627025321079250202401082

13、702532128925020240189270253210202502024024429052115472502024010629052115882502563748290521166525025638562905211579250256378829010195849250256374829010195566270511253329010195706270511238629010195805270511252429015178130427051124682901517810382701015239529015178111927010152319290151781056270101522262

14、90201611152270101523012902016112252701510038129020161147527015100357290201611173测试数据如下表9过滤效率预测误差如图三层BP网络的设计本实验中输入向量是3维向量，因此输入层为3个单元，输出向量是2维向量，因此输出层维2个单元，隐层单元数按经验公式n m a， n1为隐层单元数，n为输入单元数，m为输出单元数，a 1,10为常数。实 验结果如下表：隐层数23456迭代次数6285000510421537训练误差0.0079990.003100.0018620.0017910.003751隐层数789迭代次数11817

15、31303训练误差0.0017910.0017910.00183767因此，隐层数取7个单元较为合适，网络训练如图预测结果如下表温度/CDCD/ cm宀曰./ 定量 /-2g m过滤效率/%透气量/L m-2 s-1测量值预测值误差(%)测量值预测值误差()2501045017.7616.109.316545.7529.612501527049.1348.102.09136170.50-252502024040.5841.95-3.38228161.729.05250256375.1073.452.1997778519.62270511268.8274.69-8.54323477.75-47.

16、912701015281.4784.58-3.82397310.2521.8505112701510089.3491.32-2.21379355.756.1413270209892.9593.92-1.04447404.759.451270253270.6569.751.269141102-20.548290521135.9739.59-10.0397594.7500-49.8112901019544.2848.54-9.62579731.5000-26.3282901517854.9559.369.319961129.2-13.37852902016158.7465.70-11.851275

17、1256.31.4706由以上结果1 1313回区Figure L#透气量平均值的预测结果如下表1 #温度/CDCD/cm定量/-2 g m透气量/L m-2 s-1温度/CDCD/cm定量/g m2透气量/L m-2 s-1观察值平均值预测值观察值平均值预测值250104504927015100366355.35575.75250104505145.745.2701510031957525010450432702098513404.40475.752501045040270209842525015270166270209837225015270176170.17027020983095.52501527017427025321020250152701662702532107911021102250202401082702532128925020240189161.161.2702532102075750025020240244290521154725020240106290521158825025637482905211665594.59475.75250256385678529052115792502563788785290101958492502563748290101