BP神经网络算法原理

1、-作者xxxx-日期xxxxBP神经网络算法原理【精品文档】BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 一 BP神经网络模型BP网络模型包括其输入输出

2、模型、作用函数模型、误差计算模型和自学习模型。（1）节点输出模型隐节点输出模型：Oj=f(WijXi-q j) (1)输出节点输出模型：Yk=f(TjkOj-q k) (2)f-非线形作用函数；q -神经单元阈值。（2）作用函数模型作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e-x) （3）（3）误差计算模型误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2(tpi-Opi)2 (4)tpi- i节点的期望输出值；Opi-i节点计算输出值。（4）自学习模型神经网络的学习过程，即

3、连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为 Wij(n+1)= h iOj+aWij(n) （5）h -学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。二 BP网络模型的缺陷分析及优化策略（1）学习因子h 的优化采用变步长法根据输出误差大小自动调整学习因子，来减少迭代次数和加快收敛速度。h =h +a(Ep(n)- Ep(n-1)/ Ep(n) a为调整步长，01之间取值 （6）（2）隐层节点数的优化 隐 节点数的多少对网络性能的影响较大，当隐节点数太多时，会导

4、致网络学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用逐步回归分析 法并进行参数的显著性检验来动态删除一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节点的所有权值和阈值均落于死区（通常取0.1、0.05等区间）之中，则该节点可删除。最佳隐节点数L可参考下面公式计算：L=(m+n)1/2+c (7)m-输入节点数；n-输出节点数；c-介于110的常数。（3）输入和输出神经元的确定利用多元回归分析法对神经网络的输入参数进行处理，删除相关性强的输入参数，来减少输入节点数。（4）算法优化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。用基于生物免

5、疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA取代传统BP算法来克服此缺点。该程序实现神经网络的BP算法，输入节点数，输出节点数，隐层数，隐层节点数任意，由用户决定。其中隐层数指的是总共曾数包含输出层，比如说异或算法为2层，第一层节点数为2，第二层也即输出层节点数为1，输入点数为2 。但是该程序对异或算法实现并不理想，对多层多节点的神经网络有较好的结果。#include iostream.h#include #include #include#include #include stdio.h #define MAXCOUNT 1e5 /迭代训练次数上限float randf()re

6、turn (float)(rand() % 1001) * 0.001f-0.5);/高斯随机数产生函数double gaussrand() static double V1, V2, S; static int phase = 0; double X; if(phase = 0) do double U1 = (double)rand() / RAND_MAX; double U2 = (double)rand() / RAND_MAX; V1 = 2 * U1 - 1; V2 = 2 * U2 - 1; S = V1 * V1 + V2 * V2; while(S = 1 | S = 0)

7、; X = V1 * sqrt(-2 * log(S) / S); else X = V2 * sqrt(-2 * log(S) / S); phase = 1 - phase; return X;/定义一个多层前向BP网络class BPpublic:double *p;/记录所有的权值double *ddp;/记录所有的权值增量int *pnode;/记录每一层的节点数double *pnodey;/记录每组每一层的节点的输出值double *ddlj;/记录每组每一层的节点的ddljdouble *pX;/记录输入样本double *pY;/记录输入理想输出值int Sidenum;in

8、t Inputnodenum;int outputnodenum;int yangbenzushu;BP() Sidenum=0;Inputnodenum=0;outputnodenum=0;yangbenzushu=0;BP() for(int m=0;mSidenum;m+) for(int n=0;npnodem+1;n+) delete pmn; delete ddpmn; delete pm; delete ddpm; delete p; delete ddp; p=NULL; ddp=NULL;if(p=NULL)delete pnode;for(int M=0;MSidenum;

9、M+)delete pnodeyM;delete ddljM;delete pnodey;delete ddlj;pnodey=NULL;ddlj=NULL;/完成所有权值的初始化void getW(int sidenum,int inputnodenum,int outputnodenum1,int yangbenzu) Sidenum=sidenum; yangbenzushu= yangbenzu; Inputnodenum=inputnodenum;outputnodenum=outputnodenum1;p=new double *sidenum;ddp=new double *si

10、denum;pnode=new int sidenum+1;/包含输入层输出层每一层的节点数for(int i=0;isidenum+1;i+)int data=0;cout请输入第i层节点数data; pnodei=data;for (int j=0;jsidenum;j+) pj=new double* pnodej+1; ddpj=new double*pnodej+1; for (int k=0;kpnodej+1;k+) ddpjk=new doublepnodej+1; pjk=new doublepnodej+1; for (int t=0;tpnodej+1;t+) ddpjk

11、t=0;/每一层的权值初始化为0 if(t=0)pjkt=-fabs(randf();/每一层的阀值初始化 else pjkt=randf();/每一层的权值初始化 /为记录每一层的节点的输出值和ddlj的指针开辟内存pnodey=new double *Sidenum;ddlj=new double *Sidenum;for(int p=0;pSidenum;p+) pnodeyp = new double pnodep+1+1; ddljp=new double pnodep+1; pnodeyp0=1;/每组每层的首值为1/*/每个节点输出函数double fas(double s) d

12、ouble t;t=1.0/(exp(-s)+1);return t;/*/该函数用来记录样本值和理想输出值void INPUT(int yangbenzushu1 ) pY=new double*yangbenzushu1;pX=new double*yangbenzushu1;for(int yu=0;yuyangbenzushu1;yu+) pXyu=new doubleInputnodenum+1; pYyu=new doubleoutputnodenum+1;/每组样本的首值赋为1 for(int yu1=0;yu1yangbenzushu1;yu1+) pXyu10=1; pYyu

13、10=1; cout请输出样本输入值endl;for(int yuy=0;yuyyangbenzushu1;yuy+)for(int yy=1;yy=Inputnodenum;yy+) if(yy=Inputnodenum) coutendl; coutXyuyyy=pXyuyyy;cout请输出样本理想输出值endl;for(int yuy1=0;yuy1yangbenzushu1;yuy1+)for(int yy1=1;yy1=outputnodenum;yy1+) /if(yy=Inputnodenum) coutendl; coutYyuy1yy1=pYyuy1yy1;/*/计算每个节

14、点的输出值函数double computeYl(int KK)/KK代表第几组组号 double sum1=0;/把所有的层的每一个节点的输出值算出来并记录在 pnodey里,不包含输入点值 for(int y=0;ySidenum;y+)/层数 for(int r=1;rpnodey+1+1;r+)/节点数 double sum=0; for(int z=0;zpnodey+1;z+)/前一层的节点数 if(y=0)sum+= pXKKz*pyr-1z; else sum+=pnodeyy-1z*pyr-1z; pnodeyyr=fas(sum); for(int j=1;j=outputn

15、odenum;j+)sum1+=pow(pYKKj-pnodeySidenum-1j,2);return sum1;/*/Compute Back-Propagation-Errorsvoid ComputeBackPropagationErrors(int gf)/gf代表组号/计算所有的ddlj/for(int gf=0;gf=0;q-)/从最后一层开始 if (q=Sidenum-1)/如果是最外一层的话 for(int rt=0;rtpnodeq+1;rt+)/每层的节点数 ddljqrt=pnodeyqrt+1*(1-pnodeyqrt+1)*(pYgfrt+1-pnodeyqrt+

16、1) ; else for(int ry=0;rypnodeq+1;ry+) double sumtemp=0; for(int fg=0;fgpnodeq+2;fg+) sumtemp+=ddljq+1fg*pq+1fgry+1; ddljqry = pnodeyqry+1*(1-pnodeyqry+1)* sumtemp; /计算所有的ddp/for(int gf1=0;gf1yangbenzushu;gf1+)/组数 for(int l=0;lSidenum;l+)/层数 for(int JJ=0;JJpnodel+1;JJ+)/每一层的节点数 for(int i=0;ipnodel+1

17、;i+)/前一层的节点数 if(l=0)/如果是第一层的话，y值为输入的X值 ddplJJi=ddljlJJ*pXgfi; else ddplJJi=ddljlJJ*pnodeyl-1i; /*/void UpdatetheWeightsusingBPAlgorithm() for(int cent=0;centSidenum;cent+)/层数 for(int J=0;Jpnodecent+1;J+)/每一层的节点数 for(int i=0;ipnodecent+1;i+)/前一层的节点数 pcentJi+=0.2*ddpcentJi;/*/double xunlianErrors()/定义

18、训练误差函数 double error=0; double sum=0; double temp=0; double temp1=0;for(int gf1=0;gf1yangbenzushu;gf1+)/组数temp= computeYl(gf1); /temp1=zhengquelv(gf1); /sum+=temp1;for(int jj=1;jj=outputnodenum;jj+) coutpnodeySidenum-1jj; error+=temp;/ sum=sum/yangbenzushu; cout用训练集所得到的正确率：sumendl;return error/yangbe

19、nzushu;/*/double jiaoyanErrors(int yangbenzushu1 )/定义校验误差函数double error=0; double sum=0; double temp=0; double temp1=0;for(int gf1=0;gf1yangbenzushu1;gf1+)/组数temp= computeYl(gf1); for(int jj=1;jj=outputnodenum;jj+) coutpnodeySidenum-1jj; /temp1=zhengquelv(gf1); /sum+=temp1; error+=temp;/sum=sum/yang

20、benzushu1; / cout用校验集所得到的正确率：sumendl;return error/yangbenzushu1;/*/double zhengquelv(int KK)int count=0; double av=0;/for(int gf1=0;gf1yangbenzushu;gf1+)/组数for(int jj=1;jj0) pnodeySidenum-1jj=1; else pnodeySidenum-1jj=0; if(pYKKjj=pnodeySidenum-1jj)count+; av=(double)count/outputnodenum;return av;/*

21、/void freeINput() if(pX!=NULL)for(int u=0;uyangbenzushu;u+) delete pXu; delete pX; pX=NULL;if(pY!=NULL)for(int u1=0;u1yangbenzushu;u1+) delete pYu1; delete pY; pY=NULL;/*/输出所有的权值void wputout() for (int j=0;jSidenum;j+) cout第j+1层权值为：endl; for (int k=0;kpnodej+1;k+) /if(k=pnodej+1-1) coutendl; for (in

22、t t=0;tpnodej+1;t+) coutpjkt ; if(t=pnodej) coutendl; /*/;void main()BP bp;int count=0;/用来统计所用的迭代次数/FILE *fp;int inputnodenum,outnodenum,sidenum,yangbenzunum;double error;cout请输入输入点数，输出点数，隐层数inputnodenumoutnodenumsidenum;cout请输入样本组数yangbenzunum;/第一步初始化所有的权值bp.getW(sidenum,inputnodenum,outnodenum,yan

23、gbenzunum);/第二步输入样本组bp.INPUT(yangbenzunum);for(;count+)double sum=0; double temp=0;for(int fuzu=0;fuzuyangbenzunum;fuzu+) /第三步计算所有y值temp=puteYl(fuzu);/第四步Compute Back-Propagation-Errorsbp.ComputeBackPropagationErrors(fuzu);/第五步Update the Weights using BP Algorithmbp.UpdatetheWeightsusingBPAlgorithm(

24、); sum+=temp;/第六步判断是否收敛error=sum/2*yangbenzunum;/freopen(debugout.txt,w,stdout); /fp=freopen( out.txt, w, stdout) ;/ coutcount errorendl;/ fclose(stdout);/关闭文件 /*if(count=1000)couterrorendl; if(count=1500)couterrorendl;if(count=1600)couterrorendl;*/if(count=10000)couterrorendl;if(error1.02) cout循环收敛

25、迭代次数为：countendl; /bp.freeINput();/释放X Y空间 break;cout权值为：endl;bp.wputout();double XUNLIANER=bp.xunlianErrors();/cout训练误差为：XUNLIANERendl;bp.freeINput();/释放X Y空间/*cout请输入校验样本: jiaoyannum;bp.INPUT(jiaoyannum);double jiaoyanER=bp.jiaoyanErrors(jiaoyannum);cout校验误差为:jiaoyanERendl;/fclose( stdout ) ;*/简介：B

26、P（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)摘 要：神经网络算法是在神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线

27、性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。关键词：固定权值；消元法；算法人工神经网络（ ，）系统是世纪年代后出现的，它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点，在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。尤其误差反向传播算法（ ，简称网络）可以逼近任意连续函数，具有很强的非线性映射能力，而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，所以它在许多应用领域中起到重要作用。近年来，为了解决神经网络收敛速度慢、不能

28、保证收敛到全局最小点，网络的中间层及它的单元数选取无理论指导及网络学习和记忆的不稳定性等缺陷，提出了许多改进算法。 传统的算法简述算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下：（）初始化，随机给定各连接权,及阀值i，t。（）由给定的输入输出模式对计算隐层、输出层各单元输出j（wijai-j） t（vjtbjt）式中：j为隐层第个神经元实际输出；t为输出层第个神经元的实际输出；wij为输入层至隐层的连接权；vj

29、t为隐层至输出层的连接权。tk（tkt）t（t） jkdtvjt j（j）式中：tk为输出层的校正误差；jk为隐层的校正误差。（）计算新的连接权及阀值，计算公式如下：jt（）jt（）?琢tkj ij（）ij（）?茁jkikt（）t（）?琢tk j（）=j（）?茁jk式中：?琢，?茁为学习系数（?琢，?茁）。（）选取下一个输入模式对返回第步反复训练直到网络设输出误差达到要求结束训练。传统的算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。 改进的网络

30、算法 改进算法概述此前有人提出：任意选定一组自由权，通过对传递函数建立线性方程组，解得待求权。本文在此基础上将给定的目标输出直接作为线性方程等式代数和来建立线性方程组，不再通过对传递函数求逆来计算神经元的净输出，简化了运算步骤。没有采用误差反馈原理，因此用此法训练出来的神经网络结果与传统算法是等效的。其基本思想是：由所给的输入、输出模式对通过作用于神经网络来建立线性方程组，运用高斯消元法解线性方程组来求得未知权值，而未采用传统网络的非线性函数误差反馈寻优的思想。 改进算法的具体步骤对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层

31、与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。现定义如下符号（见图）： （p）输入层的输入矢量； （p）输入层输入为 （p）时输出层的实际输出矢量； （p）目标输出矢量；，分别为输入层、隐层和输出层神经元个数；为隐层与输入层间的权矩阵；为输出层与隐层间的权矩阵。具体步骤如下：（）随机给定隐层和输入层间神经元的初始权值ij。（）由给定的样本输入i（p）计算出隐层的实际输出j（p）。为方便起见将图网络中的阀值写入连接权中去，令：隐层阀值jnj，（），则：j（p）=（wiji（p） （，）。（）计算输出层与隐层间的权值jr。以输出层的第个神经元为对象，由给定的输出目标值r（

32、p）作为等式的多项式值建立方程，用线性方程组表示为：a0（1）v1r+a1（1）v2r+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+am（2）vmr=tr（2） a0（p）v1r+a1（p）v2r+am（p）vmr=tr（p） 简写为： 为了使该方程组有唯一解，方程矩阵为非奇异矩阵，其秩等于其增广矩阵的秩，即：（）（），且方程的个数等于未知数的个数，故取，此时方程组的唯一解为： 0r，2r，mr（，） （）重复第三步就可以求出输出层个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。 计算机运算实例现以神经网络最简单的问题用编

33、程运算进行比较（取神经网络结构为型），传统算法和改进算法的误差（取动量因子 ，步长）newff函数 功能训练前馈网络的第一步是建立网络对象。 函数参数函数newff建立一个可训练的前馈网络。这需要4个输入参数。 第一个参数是一个Rx2的矩阵以定义R个输入向量的最小值和最大值。 第二个参数是一个设定每层神经元个数的数组。 第三个参数是包含每层用到的传递函数名称的细胞数组。 最后一个参数是用到的训练函数的名称。 举例下面命令将创建一个二层网络。它的输入是两个元素的向量，第一层有三个神经元(3)，第二层有一个神经元(1)。第一层的传递函数是tan-sigmoid，输出层的传递函数是linear。输入向量的第一个元素的范围是-1到2-1 2，输入向量的第二个元素的范围是0到50 5，训练函数是traingd。 net=newff(-1 2; 0 5,3,1,tansig,purelin,traingd); 这个命令建立了网络对象并且初始化了网络权重和偏置，因此网络就可以进行训练了。我们可能要多次重新初始化权重或者进行自定义的初始化。下面就是初始化的详细步骤。在训练前馈网络之前，权重和偏