bp神经网络算法

BP神经网络算法三层BP神经网络如图:目标输出向量312n目标输出向量312n设网络的输入模式为x€（x,x,...x）T,隐含层有h个单元，隐含层的输出为12ny€（y,y，…y）T，输出层有m个单元，他们的输出为z=（z,z，…z）T，目标输出为12h12mt€（t,t,...,t）T设隐含层到输出层的传递函数为f，输出层的传递函数为g12m于是：y€f（工wx，6）€f（工wx）:隐含层第j个神经元的输出；其中jijiijii€1i€0W€—0,X€10j0z€g（为wy）:输出层第k个神经元的输出kjkjj€0此时网络输出与目标输出的误差为„€1区（t，z）2，显然，它是w和w的函数。2kkijjkk€1下面的步骤就是想办法调整权值，使„减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长…，每次沿负梯度方向调整…个单位，即每次权值的调整为：

€„Aw=-…,…在神经网络中称为学习速率pq€wpq可以证明：按这个方法调整，误差会逐渐减小。BP神经网络（反向传播）的调整顺序为：1）先调整隐含层到输出层的权值设v为输出层第k个神经元的输入V，工wykkjkjj，o2区(t-2区(t-Z)22迟(t2kk2，k=1，€w€wjkjk复合函数偏导公式€„◎€zk-Z)2ffkk€z€vkk-€v€wkjk,-(tk-zk)g'(vk)yj1e-v若取1e-v若取g(x)=f(x)=k，则叫=吋正11-(1--)，Z(1-z)1+e-vk1+e-vkkk于是隐含层到输出层的权值调整迭代公式为：w(t+1)，w(t)+…z(1-z)yjkjkkkj2）从输入层到隐含层的权值调整迭代公式为：€„€wij€„€wij-迟(t-Z)22k/€wij-迟(t-z)22k/k^—€yj€u€wjij其中u为隐含层第j个神经元的输入：u，工wxjjijii，0注意：隐含层第j个神经元与输出层的各个神经元都有连接’即詈涉及所有的权值jj€„因此€€„因此€yj于是：瓦€(tk-zk)2乞翌，-]E(t-z)f'(u)w€u€ykkkjkkjk,0k，0€zk1迟1迟（t€„2k,k,1€w€wijij-zk)2迟{(t-z)f'(u)w}f'(u)x，-dxkkkjkjijik，0因此从输入层到隐含层的权值调整迭代为公式为w（t+1）=w（t）+…6xijijji

%机动车数(单位：万辆)sqjdcs=[0.60.750.850.91.051.351.451.61.71.852.152.22.252.352.52.6...2.72.852.953.1];%公路面积(单位：万平方公里)sqglmj=[0.090.110.110.140.200.230.230.320.320.340.360.360.380.49...0.560.590.590.670.690.79];%公路客运量(单位：万人)glkyl=[5126621777309145104601138712353157501830419836210241949020433...22598251073344236836405484292743462];%公路货运量(单位：万吨)glhyl=[123713791385139916631714183443228132893611099112031052411115...133201676218673207242080321804];[Samln,minp,maxp,tn,mint,maxt]=premnmx(p,t);%原始样本对(输入和输出)初始化%噪声强度为0.01(添加噪声的目的是为了防止网络NoiseVar=0.01;过度拟合)Noise=NoiseVar*randn(2,SamNum);[Samln,minp,maxp,tn,mint,maxt]=premnmx(p,t);%原始样本对(输入和输出)初始化%噪声强度为0.01(添加噪声的目的是为了防止网络NoiseVar=0.01;过度拟合)Noise=NoiseVar*randn(2,SamNum);SamOut=tn+Noise;%生成噪声%这里取输入样本与测试样本相同因为%也取输出样本与测试样本相同%这里取输入样本与测试样本相同因为%也取输出样本与测试样本相同TestSamIn=SamIn;样本容量偏少%最多训练次数为%最多训练次数为50000%学习速率为0.035%目标误差为0.65*10人(-3)MaxEpochs=50000;lr=0.035;E0=0.65*10人(-3);W1=0.5*rand(HiddenUnitNum,InDim)-0.1;%初始化输入层与隐含层之间的权值B1=0.5*rand(HiddenUnitNum,1)-0.1;%初始化输入层与隐含层之间的阈值%给中间变量预先占据内存W2=0.5*rand(OutDim,HiddenUnitNum)-0.1;%初始化输出层与隐含层之间的权值B2=0.5*rand(OutDim,1)-0.1;%%给中间变量预先占据内存ErrHistory=[];fori=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum));%隐含层网络输出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);%输出层网络输出Error=SamOut-NetworkOut;%实际输出与网络输出之差SSE=sumsqr(Error)%能量函数(误差平方和)

ErrHistory=[ErrHistorySSE];ifSSE<E0,break,end%如果达到误差要求则跳出学习循环%以下六行是BP网络最核心的程序%他们是权值(阈值)依据能量函数负梯度下降原理所作的每一步动态调整量Delta2=Error;Delta1=W2'*Delta2.*HiddenOut.*(1-HiddenOut);dW2=Delta2*HiddenOut';dB2=Delta2*ones(SamNum,1);dW1=Delta1*SamIn';dB1=Delta1*ones(SamNum,1);%对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;%对输入层与隐含层之间的权值和阈值进行修正W1=W1+lr*dW1;B1=B1+lr*dB1;endHiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum));%隐含层输出最终结果%还原网络输出层的结果%时间轴刻度%%还原网络输出层的结果%时间轴刻度%网络输出客运量%网络输出货运量%绘值公路客运量对比图；%绘制公路货运量对比图a=postmnmx(NetworkOut,mint,maxt);x=1990:2009;newk=a(1,:);newh=a(2,:);figure;subplot(2,1,1);plot(x,newk,'r-o',x,glkyl,'b--+')Iegend('网络输出客运量','实际客运量')；xlabel('年份');ylabel(喀运量/万人')；subplot(2,1,2)；plot(x,newh,'r-o',x,glhyl,'b--+')legend('网络输出货运量','实际货运量')；xlabel('年份');ylabel('货运量/万吨')；%利用训练好的网络进行预测%当用训练好的网络对新数据pnew进行预测时，也应作相应的处理pnew=[73.3975.553.96354.09750.98801.0268]；%2010年和2011年的相关数据；pnewn=tramnmx(pnew,minp,maxp)；%利用原始输入数据的归一化参数对新数据进行归一化；Hidde