bp神经网络算法

1、BP 神经网络算法三层BP 神经网络如图：目标输出向量传递函数 gtkzk输出层，输出向量权值为 wjk传递函数fy隐含层，隐含j层输出向量权值为 wijxxxx123输入层，输入向量设网络的输入模式为 x (x , x12,.x n，隐含层有 h个单元，隐含层的输出为y (y , y1,.yh)T ，输出层有 m z (z z12,.zm)T ，目标输出为t (t ,t t)T f ，输出层的传递函数为g12m于是： yjw ,0 j f(ni1x0w xij ) f(ni0w xij) ：隐含层第 j个神经元的输出；其中z g(h wkj0y ：输出层第k 个神经元的输出j此时网络输出与目

2、标输出的误差为 m tk 1z )2 ，显然，它是w 和wkij的函数。下面的步骤就是想办法调整权值，使 减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长 ，每次沿负梯度方向调整 个单位，即每次权值的调整为：w ， 在神经网络中称为学习速率pqwpqBP 神经网络（反向传播）的调整顺序为： 1）先调整隐含层到输出层的权值设v为输出层第k 个神经元的输入vkwyjkjj 01m2(t z )2kk12(t z )2kkzkkkk kkjkjkkk (tkz )g(v ) ykkj-复合函数偏导公式1若取g(x)f(x)，则g(u )1(11) (1 z )kkk

3、1 e xkkkk(1 ev )21 ev1evkk于是隐含层到输出层的权值调整迭代公式为：w(t wjk(t) zk(1 z ) ykj2）从输入层到隐含层的权值调整迭代公式为：1m2(t z )2kk12(t z )2kkyuwkwk yjuwijijjjij其中uj为隐含层第j 个神经元的输入： uji0w xiji注意：隐含层第 j 个神经元与输出层的各个神经元都有连接，即yj涉及所有的权值w ，ij(tkz )2u m z ) f (u)w于是：zjk0kkkkkjk0kkjk1m tz )2w2kkw(tkz ) f (u )wkk f (u ) xj xjiijijk0因此从输入

4、层到隐含层的权值调整迭代为公式为：w (t 1) wij(t)xji例：下表给出了某地区公路运力的历史统计数据，请建立相应的预测模型，并对给出的2010 和2011 年的数据，预测相应的公路客运量和货运量。时间人数(单位： 万人)机动车数(单位：万辆)公路面积(单位：万平方公里)公路客运量(单位：万人)公路货运量(单位：万吨)199020.550.60.0951261237199122.440.750.1162171379199225.370.850.1177301385199327.130.90.1491451399199429.451.050.2104601663199530.11.350

5、.23113871714199630.961.450.23123531834199734.061.60.32157504322199836.421.70.32183048132199938.091.850.34198368936200039.132.150.362102411099200139.992.20.361949011203200241.932.250.382043310524200344.592.350.492259811115200447.32.50.562510713320200552.892.60.593344216762200655.732.70.59368361867320

6、0756.762.850.674054820724200859.172.950.694292720803200960.633.10.794346221804201073.39003.96350.9880201175.55004.09751.0268function main()clc% 清屏clear all;%清除内存以便加快运算速度SamNum=20;TestSamNum=20;%输入样本数量为 20%测试样本数量也是 20SamNum=20;TestSamNum=20;%输入样本数量为 20%测试样本数量也是 20ForcastSamNum=2;%2HiddenUnitNum=8;%8,

7、1 个InDim=3;%3OutDim=2;%2%原始数据%人数(单位：万人)sqrs=20.55 22.44 25.37 27.13 29.45 30.10 30.96 34.06 36.42 38.09 39.13 39.99 .41.93 44.59 47.30 52.89 55.73 56.76 59.17 60.63;%机动车数(单位：万辆)sqjdcs=0.6 0.75 0.85 0.9 1.05 1.35 1.45 1.6 1.7 1.85 2.15 2.2 2.25 2.35 2.5 2.6.2.7 2.85 2.95 3.1;%公路面积(单位：万平方公里)sqglmj=0.0

8、9 0.11 0.11 0.14 0.20 0.23 0.23 0.32 0.32 0.34 0.36 0.36 0.38 0.49 .0.56 0.59 0.59 0.67 0.69 0.79;%公路客运量(单位：万人)glkyl=5126 6217 7730 9145 10460 11387 12353 15750 18304 19836 21024 19490 20433 .22598 25107 33442 36836 40548 42927 43462;%公路货运量(单位：万吨)glhyl=1237 1379 1385 1399 1663 1714 1834 4322 8132 89

9、36 11099 11203 10524 11115 .13320 16762 18673 20724 20803 21804;SamIn,minp,maxp,tn,mint,maxt=premnmx(p,t);原始样本对（输入和输出）初始化p=sqrs;sqjdcs;sqglmj;输入数据矩阵t=glkyl;glhyl;%SamIn,minp,maxp,tn,mint,maxt=premnmx(p,t);原始样本对（输入和输出）初始化rand(state,sum(100*clock)rand(state,sum(100*clock)%依据系统时钟种子产生随机数rand 0 1 的均1 的正态

10、分布 rand(n)randn(n)n*n 阶矩阵，rand(m,n)或 randn(n)产生 m*n 的随机数矩阵NoiseVar=0.01;%噪声强度为 过度拟合）Noise=NoiseVar*randn(2,SamNum);%生成噪声SamOut=tnNoise;%将噪声添加到输出样本上TestSamIn=SamIn;%样本容量偏少TestSamOut=SamOut;%也取输出样本与测试样本相同MaxEpochs=50000;%50000lr=0.035;%0.035E0=0.65*10(-3);%0.65*10(-3)W1=0.5*rand(HiddenUnitNum,InDim)-0

11、.1;初始化输入层与隐含层之间的权值B1=0.5*rand(HiddenUnitNum,1)-0.1;%初始化输入层与隐含层之间的阈值W2=0.5*rand(OutDim,HiddenUnitNum)-0.1;初始化输出层与隐含层之间的权值B2=0.5*rand(OutDim,1)-0.1;%初始化输出层与隐含层之间的阈ErrHistory=;%for i=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum);% 隐含层网络输出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);% 输出层网络输出E

12、rror=SamOut-NetworkOut;% 实际输出与网络输出之SSE=sumsqr(Error)%能量函数（误差平方和）ErrHistory=ErrHistory SSE;ifSSEE0,break,end%如果达到误差要求则跳出学习循环% 以下六行是 BP 网络最核心的程序% 他们是权值（阈值）依据能量函数负梯度下降原理所作的每一步动态调整量Delta2=Error; Delta1=W2*Delta2.*HiddenOut.*(1-HiddenOut);dW2=Delta2*HiddenOut; dB2=Delta2*ones(SamNum,1);enddW1=Delta1*SamI

13、n; dB1=Delta1*ones(SamNum,1);%对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;%对输入层与隐含层之间的权值和阈值进行修正W1=W1+lr*dW1;B1=B1+lr*dB1;HiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum);%隐含层输出最终结果NetworkOut=W2*HiddenOut+repmat(B2,1,TestSamNum);% 输出层输出最终结a=postmnmx(NetworkOut,mint,maxt);% 还原网络输出层的结果x=1990:2009;%

14、时间轴刻度newk=a(1,:);% 网络输出客运量newh=a(2,:);% 网络输出货运量figure ;subplot(2,1,1);plot(x,newk,r-o,x,glkyl,b-+)%legend(网络输出客运量实际客运量);xlabel(年份);ylabel(客运量/万人);subplot(2,1,2);plot(x,newh,r-o,x,glhyl,b-+)%legend(网络输出货运量实际货运量);xlabel(年份);ylabel(货运量/万吨);% 利用训练好的网络进行预测% 当用训练好的网络对新数据pnew 进行预测时，也应作相应的处理pnew=73.39 75.553.9635 4.09750.98801.02