基于BP神经网络的数据分类

基于BP神经网络的数据分类姓名：丁莉学号：30856015指导老师：周润景日期：2009.7.1

1.1BP网络简介1.2BP网络模型1.3学习规则1.4网络程序设计1.5BP网络应用123451.1BP网络简介反向传播网络(Back-PropagationNetwork，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%~90%的人工神经网络模型是采用BP网络或它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。其主要思想是从后向前（反向）逐层传播输出层的误差，以间接计算出隐层误差。算法分为两个部分：第一部分（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值；第二部分（反向传播过程）输出误差逐层向前计算出隐层各单元的误差，并用此误差修正前层权值。1.1BP网络简介1.2网络模型

一个具有r个输入和一个隐含层的神经网络模型结构1.2网络模型BP网络具有一层或多层隐含层，除了在多层网络上与其他的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}BP网络经常使用的是S型的对数或正切激活函数和线性函数1.3学习规则BP神经网络是一前向结构无反馈的非线性映射系统，能较好地拟合非线性系统的输入与输出关系。BP网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向——负梯度方向。其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。1.3学习规则假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T1.3学习规则信息的正向传递隐含层中第i个神经元的输出输出层第k个神经元的输出定义误差函数1.3学习规则利用梯度下降法求权值变化及误差的反向传播输出层的权值变化其中同理可得1.3学习规则利用梯度下降法求权值变化及误差的反向传播隐含层权值变化其中同理可得1.3学习规则对于f1为对数S型激活函数，对于f2为线性激活函数1.4网络程序设计（1）网络的初始化（2）训练参数初始化（3）网络训练（4）网络仿真（5）显示结果下面进行分步介绍：1.4网络程序设计以上所有的学习规则与训练的全过程，可以用MATLAB中的函数trainbp.m来完成它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差TP＝[disp_freqmax_epocherr_goallr][W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)

1.4网络程序设计

在训练之前要对网络进行初始化，并设置好训练参数。网络的输入向量：网络的目标向量：网络初始化程序：1.4网络程序设计%创建一个BP网络，隐含层有s1个神经元，传递函数为tansig，中间层有s2个神经元，传递函数为logsig，训练函数为批梯度下降函数traingdnet=newff(minmax(p),[s1,s2],{'tansig','logsig'},'traingd');%训练步数为X%目标误差为Enet.trainParam.epochs=X;net.trainParam.goal=E;1.5BP网络应用BP网络的输入和输出层的神经元数目由输入和输出向量的维数确定。输入向量由A,B,C这三列决定，所以输入层的神经元数目为3。输出结果有四种模式，在这里设为1、2、3、4代表4种输出，因此输出层的神经元个数为4。隐含层节点数的确定：其中m为输入层节点数，n为输出层节点数，a为【1，10】之间的常数。因为此处是3输入4输出的神经网络，所以隐含层节点数选择12。1.5BP网络应用源程序代码:%构建训练样本中的输入向量pp1=[1739.94373.31756.77864.45222.85877.881803.58;1675.153087.0516521647.313059.542031.661583.12;2395.962429.471514.982665.92002.333071.182163.05];p2=[2352.12401.3363.341571.17104.8499.852297.28;2557.043259.943477.951731.043389.833305.753340.14;1411.532150.982462.861735.332421.832196.22535.62];p3=[2092.621418.791845.592205.362949.161692.621680.67;3177.211775.891918.813243.743244.441867.51575.78;584.322772.92226.491202.69662.422108.971725.1];p4=[2802.88172.782063.541449.581651.52341.59291.02237.63;3017.113084.493199.761641.581713.283076.623095.683077.78;1984.982328.651257.213405.121570.382438.632088.952251.96];p=[p1p2p3p4];1.5BP网络应用%构建训练样本中的目标向量tt1=[0100100;1010001;0000000;0001010];t2=[0110110;1001000;0000001;0000000];t3=[0000000;0010011;1001100;0100000];t4=[01000111;00001000;10100000;00010000];t=[t1t2t3t4];1.5BP网络应用%创建一个BP网络，隐含层有12个神经元，传递函数为tansig%中间层有4个神经元，传递函数为logsig,训练函数为trainlmnet=newff(minmax(p),[12,4],{'tansig','logsig'},'trainlm');%训练次数默认为100net.trainParam.epochs=500;%训练的目标默认为0net.trainParam.goal=0.01;1.5BP网络应用%神经网络训练net=train(net,p,t);%测试样本进行分类p_test=[1702.81877.93867.811831.49460.692374.982271.891783.64198.831494.631597.031598.931243.132336.313542144.47426.311507.13343.072201.942232.431580.11962.41495.181125.1724.221269.071802.071817.361860.45;

1639.791860.962334.681713.113274.773346.983482.971597.993250.452072.591921.521921.081814.072640.263300.122501.623105.291556.893271.723196.223077.871752.071594.971957.441594.393447.311910.721725.811927.41782.88;

2068.741975.32535.11604.682172.99975.31946.72261.312445.082550.512126.761623.333441.071599.632373.61591.512057.81954.512036.94935.531298.872463.041835.953498.022937.732145.012701.971966.352328.791875.83];y=sim(net,p_test);TRAINLM,Epoch0/500,MSE0.437703/0.01,Gradient7675.18/1e-010TRAINLM,Epoch25/500,MSE0.129899/0.01,Gradient44.6286/1e-010TRAINLM,Epoch37/500,MSE4.18645e-007/0.01,Gradient0.00721979/1e-010TRAINLM,Performancegoalmet.可见网络经过37次训练后即可达到误差要求，结果如下图：1.5BP网络应用可以看到网络具有非常好的学习性能，网络输出与目标输出的误差已经达到了预先的要求。1.5BP网络应用1.5BP网络应用对预测样本值的仿真输出结果是y=Columns1through10

0.00000.00000.00000.00001.00001.00001.00000.01381.00000.00000.00000.00000.00000.00000.00000.00000.00001.00000.02680.0000第3种第3种第1种