bp神经网络算法

1、BP神经网络算法三层BP神经网络如图:传递函数目标输出向量*输出层，输出向量值为w传递函数隐含层，隐 含层输出向输入层，输入向量设网络的输入模式为x (Xi,X2,.Xn)T，隐含层有h个单元，隐含层的输出为y (yi,y2，.yh)T，输出层有m个单元，他们的输出为z (可乙,.冷)丁，目标输出为t(ti,t2,.,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为gn于是：yj f ( Wj Xii 1n)f( Wij Xi):隐含层第j个神经元的输出；其中i 0Woj, Xo 1hZkg(WjkYj):输出层第k个神经元的输出j 0此时网络输出与目标输出的误差为1 m (tkZk

2、)2，显然，它是Wij和Wjk的函数2 k 1下面的步骤就是想办法调整权值，使 减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长，每次沿负梯度方向调整个单位，即每次权值的调整为：Wpq， 在神经网络中称为学习速率Wpq可以证明：按这个方法调整，误差会逐渐减小。BP神经网络（反向传播）的调整顺序为：1）先调整隐含层到输出层的权值h设Vk为输出层第k个神经元的输入VkWjkyjj o复合函数偏导公式1e Vkii若取 g（x） f（x） 7，则 g（Uk）匚（1匚）z（ zQ1 e（1 e k）1 e k 1 e k于是隐含层到输出层的权值调整迭代公式为：2）从输

3、入层到隐含层的权值调整迭代公式为：n其中Uj为隐含层第j个神经元的输入：u jWijXii 0注意：隐含层第j个神经元与输出层的各个神经元都有连接，即 涉及所有的权值 yjWij，因此yj(tkZk)2mZkUkUkyj(tkk 0Zk)f(Uk)Wjk于是：因此从输入层到隐含层的权值调整迭代为公式为：例：下表给出了某地区公路运力的历史统计数据，请建立相应的预测模型，并对给出的2010和2011年的数据，预测相应的公路客运量和货运量时间人数（单位： 万人）机动车数 （单位：万辆）公路面积（单 位：万平方公里）公路客运量 （单位：万人）公路货运量 （单位：万 吨）1990512612371991

4、：6217137919927730138519939145P13991994104601663199511387171419961235318341997 j157504322199818304813219991983689362000 :210241109920011949011203200220433105242003225981111520042510713320200533442167622006368361867320074054820724200842927208032009434622180420102011fun ctio nm ai n()clc%清屏clearall;%清除

5、内存以便加快运算速度closeall;%关闭当前所有figure图像SamNum=20;%输入样本数量为20TestSamNum=20;%测试样本数量也是20ForcastSamNum=2;%预测样本数量为2HiddenUnitNum=8;%中间层隐节点数量取8,比工具箱程序多了 1个InDim=3;%网络输入维度为3OutDim=2;%网络输出维度为2%原始数据%人数(单位：万人)sqrs=机动车数(单位：万辆)sqjdcs=公路面积(单位：万平方公里)sqglmj=公路客运量(单位：万人)glkyl=3043462;%公路货运量(单位：万吨)glhy匸0;p=sqrs;sqjdcs;sqg

6、lmj;% 输入数据矩阵t=glkyl;glhyl;% 目标数据矩阵SamI n,mi np,maxp,t n,mi nt,maxt=pre mnm x(p,t);%原始样本对(输入和输出)初始化rand(state,sum(100*clock)% 依据系统时钟种子产生随机数 rand是产生0到1的均 匀分布，randn是产生均值为0,方差为1的正态分布rand(n)或randn(n)产生n*n 阶矩阵，rand(m,n)或randn(n)产生m*n的随机数矩阵NoiseVar=;%噪声强度为(添加噪声的目的是为了防止网络过度拟合)Noise=NoiseVar*randn(2,SamNum);

7、% 生成噪声SamOut=tn+Noise;% 将噪声添加到输出样本上TestSamIn=SamIn;% 这里取输入样本与测试样本相同因为样本容量偏少TestSamOut=SamOut;% 也取输出样本与测试样本相同MaxEpochs=50000;% 最多训练次数为 50000lr=;% 学习速率为E0=*10(3);% 目标误差为 *10(3)W1=*rand(HiddenUnitNum,InDim);% 初始化输入层与隐含层之间的权值B1=*rand(HiddenUnitNum,1);% 初始化输入层与隐含层之间的阈值W2=*rand(OutDim,HiddenUnitNum);% 初始化

8、输出层与隐含层之间的权值B2=*rand(OutDim,1);% 初始化输出层与隐含层之间的阈值ErrHistory=;% 给中间变量预先占据内存fori=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum);% 隐含层网络输出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);% 输出层网络输出Error=SamOut-NetworkOut;% 实际输出与网络输出之差SSE=sumsqr(Error)% 能量函数(误差平方和)ErrHistory=ErrHistorySSE;ifSSEE0,bre

9、ak,end% 如果达到误差要求则跳出学习循环% 以下六行是 BP 网络最核心的程序% 他们是权值(阈值)依据能量函数负梯度下降原理所作的每一步动态调整量 Delta2=Error;Delta1=W2*Delta2.*HiddenOut.*(1-HiddenOut); dW2=Delta2*HiddenOut;dB2=Delta2*ones(SamNum,1);dW1=Delta1*SamIn;dB1=Delta1*ones(SamNum,1);% 对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;% 对输入层与隐含层之间的权值和阈值进行修正W1=W1

10、+lr*dW1;B1=B1+lr*dB1;endHiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum);% 隐含层输出最终结果 NetworkOut=W2*HiddenOut+repmat(B2,1,TestSamNum);% 输出层输出最终结果 a=postmnmx(NetworkOut,mint,maxt);% 还原网络输出层的结果x=1990:2009;%时间轴刻度newk=a(1,:);% 网络输出客运量newh=a(2,:);% 网络输出货运量figure;subplot(2,1,1);plot(x,newk,r-o,x,glkyl,b-+)%绘值公路客运量对比图；legend(网络输出客运量,实际客运量);xlabel(年份);ylabel(客运量 /万人);subplot(2,1,2);plot(x,newh,r-o,x,glhyl,b-+)%绘制公路货运量对比图；legend(网络输出货运量实际货运量);xlabel(年份);ylabel(货运量 /万吨); %利用训练好的网络进行预测% 当用训练好的网络对新数据 pnew 进行预测时，也应作相应的处理pnew=年和2011年的相关数据；pnewn=tramnmx(pnew,minp,maxp);% 利用原始输入数据的归一化参数对新数据进 行归一化；H