西安科技大学神经网络作业5

1、基于MATLAB的改进BP神经网络的仿真1.引言神经网络（Neural Networks，简称NN）是由大量的、简单的处理单元（简称为神经元）广泛的相互连接而成的复杂网络系统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。1986年Rumelhart和McCelland等人

2、提出并行分布处理（PDP）的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。2.论述BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形

3、式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。随着人工神经网络的发展，BP算法的用途日益广泛，应用领域也在不断扩展，已在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等各个领域中有着成功的案例。在众多神经网络中，又以BP（Back Propagation）网络的应用最为广泛，它所采用的BP算法已成为目前应用最为

4、广泛的神经网络学习算法，绝大部分的神经网络模型都是采用BP算法或它的变化形式。这样的算法具有很好的非线性映射能力、泛化能力、容错能力，已在各个领域中取得了广泛的应用。但是人们在使用过程中却发现，这种算法存在这样或那样的局限，比如收敛速度慢、容易陷入局部最小值以及忘记旧样本的趋势，这些局域性严重影响了BP算法的应用。本文主要针对BP算法的缺点，采用以下几种改进算法来对其进行改善：1.附加动量法；2.自适应调整参数法；3.弹性算法；4.BFGS拟牛顿法；5.Levenberg-Marquardt的改进算法。3.实例验证考虑以下Hermit多项式的逼近问题：，其中。训练样本产生方式如下：样本数N=1

5、00，其中样本输入服从区间-4,4内的均匀分布，样本输出为，为添加的噪声，服从均值为0，方差为0.1的正态分布。采用MATLAB软件进行编程仿真，分别运用附加动量法、自适应调整参数法、弹性算法、BFGS拟牛顿法、Levenberg-Marquardt法，对其训练结果进行考察如下。本仿真训练次数为20000，训练结果的间隔次数为50，训练目标误差为0.05，训练允许时间为50秒，学习率为0.003。1. 基本BP算法，工具函数为traingd()。图1 基本BP算法仿真曲线此时，训练时间为12s，训练次数为2092次。2. 附加动量法，工具函数为traingdm()，仿真曲线如图2所示。图2 附

6、加动量法仿真曲线此时，训练时间为11s，训练次数为2082次。3. 自适应调整参数法，工具函数为traingda()，仿真曲线如图3所示。图3 自适应调整参数法仿真曲线此时，训练时间为0s，训练次数为102次。4. 弹性算法，工具函数为trainrp()，仿真曲线如图4所示。图4 弹性算法仿真曲线此时，训练时间为0s，训练次数为12次。5. BFGS拟牛顿法，工具函数为trainbfg()，仿真曲线如图5所示。图5 BFGS拟牛顿法仿真曲线此时，训练时间为0s，训练次数为5次。6. Levenberg-Marquardt法，工具函数为trainlm仿真曲线如图5所示。图5 Levenberg-

7、Marquardt法仿真曲线此时，训练时间为0s，训练次数为1次。4.结论将以上各种BP算法的结果统计如1所示。表1 各种BP算法的结果统计学习算法训练时间（单位：秒）训练次数(精度要求0.05)基本BP算法(traingd)122092附加动量法(traingdm)112082自适应调整参数法(traingda)0102弹性算法(trainrp)012BFGS拟牛顿法(trainbfg)05Levenberg-Marquardt法(trainlm)01由表可知，改进的BP算法都优于基本BP算法，而优劣顺序为Levenberg-Marquardt法、BFGS拟牛顿法、弹性算法、自适应调整参数法

8、、附加动量法、基本BP算法，在实际的问题中，应根据具体要求选择适当的算法。5.程序clcclear%此函数的曲线图，教师信号%P=8*(rand(1,100)-0.5);N=20;for i=1:N train_P(i)=P(i); train_P(i+60)=P(i+60);%取样本中60个数作为训练集 test_P(i)=P(i+60);%取样本中20个数作为测试集 valid_P(i)=P(i+80);%剩下的20个数作为验证集endp0=sort(train_P);T0=1.1*(1-p0+2.*p0.2).*exp(-p0.2)./2); p1=sort(test_P);T1=1.1

9、*(1-p1+2.*p1.2).*exp(-p1.2)./2); p2=sort(valid_P);T2=1.1*(1-p2+2.*p2.2).*exp(-p2.2)./2); %归一化%Pn0,minp0,maxp0,Tn0,mint0,maxt0=premnmx(p0,T0);Pn1,minp1,maxp1,Tn1,mint1,maxt1=premnmx(p1,T1);Pn2,minp2,maxp2,Tn2,mint2,maxt2=premnmx(p2,T2); %网络的建立，目的实现非线性逼近% net = newff(-1,1, 10,1, 'logsig' 'purelin', 'Traingd');%10个中间隐层的BP训练 %神经网络工具箱参数设置%net.trainParam.epochs = 20000;net.trainParam.goal = 0.05;net.trainParam.show=50;net.trainParam.time=50;net.trainParam.lr=0.003; %开始训练%net = train(net,Pn0,Tn0);%画图%曲线拟合图%y1 = sim(net,Pn0);