试验2报告示范

1、研究实验2报通告范一一单入单出BP人工神经网络及算法研究?研究问题描绘：用BP方法实现一个单输入单输出的函数的逼近。假定变换函数的输出范围在0到1之间。函数取以下3个：f(x)=e,0.2x0.8f(x)=0.50.3*sinx,0Ex乞1f(x)=0.50.3*sin(2*x),0空x乞1?网络构造：三层前向神经网络依照逼近定理知，只含一个隐层的前向网络(即三层前向神经网络)是一个通用的逼近器，能够随意逼近函数f,因此，在此题中采用三层前向神经网络，即输入层(x0,y0)，个隐层(x1,y1)，输出层(x2,y2)。?网络构造由于要逼近的函数为单输入单输出函数，故输出层只有一个节点；输入层除

2、了一个样本输入点外，还有一个阈值单元，因此能够看作是两个输入节点；隐层的节点个数p能够在程序运行时进行选择，以适应和测试不同样的逼近收效。由输入层至隐层的权矩阵记为W0，由隐层到输出层的权矩阵记为W1。整个网络的构造初步设计以以下列图所示：(略)三?算法实现本实验用C+程序实现该算法。报告中所给出的实验数据均是运行C+程序所得的结果，尔后将这些结果在matlab中画出对应图形。1?标准BP算法(无动量项)：依照公式：(为学习率)WjUk1)=w,j4,l(k:E/：:w；,f,l(k)-w,J4,l(kv:P,j(k)y；：(k)flllyp,j(k)tp,jfXp,j(k)l=M-16；j(

3、k)=NFxP,j(k)臣n去P：(k)wj7(k)l=M2,.,1编写程序，程序履行时赞同选择：样本个数p,隐层节点个数midnumber,学习速率step,训练过程结束条件(即训练结束时赞同的最大误差)enderr。2?加动量项的BP算法基出办理同上，仅在标准BP算法的基础上，对权矩阵的改正增添动量项，程序履行时赞同选择：样本个数p,隐层节点个数midnumber,学习速率step,训练过程结束条件(即训练结束时赞同的最大误差),以及动量因子motienderr四?训练结果：对不同样的函数逼近进行训练获取不同样的训练结果，下面分别进行讨论:1.f(x)=e?,0.2三x乞0.8(1.)样本

4、个数取为10,隐层节点数取为10,步长0.4,停止误差设为0.001,无动量项运行结果以下:最后误差:0.000训练次数：1850-0.601838-1.30367-1.232521.01428)-0.601838-2.006581.014281-0.601838-2.006581.01428-0.601838-2.006581.01428-0.6018381.01428W0=-2.0065801428-0.601838-2.006581.1.01428-0.601838-2.006581.01428-0.601838-2.00658.10.1428-0.601838-2.00658权值矩阵为

5、:(这里的权矩阵的取值比较齐整，剖析其原因是由于在初始化权矩阵的时候，并没有为其赐予随机值，而是分别赐予了同样的0到0.1性，故每次经过梯度法所求得的权值的变化量是同样的，齐性。）逼近收效图：之间的值。又由于网络构造的对称进而致使了结果中权值取值的整（图中蓝线为原函数图像，红x为由该网络进行逼近获取的结果）（2.）改变隐层节点数：当隐层节点数减少为5,其他设置不变时，要达到停止误差需要进行的训练次数为5476次。当隐层节点数增添为20,其他设置不变时，要达到停止误差需要进行的训练次数为29167次0当隐层节点数增添为50,其他设置不变时，要达到停止误差需要进行的训练次数为73677次o能够看出

6、，此题中增添隐层节点数对改良逼近收效的作用其实不很显然。隐层节点取20和50时所用的训练次数比隐层节点取10时要大。可见增添隐层节点其实不用然能增添精度或减少训练时间，在此题中反而会带来更长的训练时间。3.）改变步长：当步长减小为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为18993次，显然多于步长为0.4的状况。当步长增添为0.5，其他设置不变时，要达到停止误差需要进行的训练次数为7590次，少于步长为0.4的状况。当步长增添为0.8，其他设置不变时，要达到停止误差需要进行的训练次数为4449次，显然少于步长为0.4的状况。而当步长增添为1,其他设置不变时，要达到停止误差需要进

7、行的训练次数只有3292次0这说明随着步长的增添，训练的次数可能减小，剖析其原因是由于步长增添意味着权值每次的变化量更大，因此会使收敛更快。但步长增添另一方面可能会致使振荡，也就是当步长取的较大时，有可能使得权值在误差曲面的极小点两边往返变化而不能够达到极小点。在对其他函数逼近的实验中(实验3),能够看出该现象。(4.)增添动量项当增添动量项，动量因子设为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为7590次，显然少于同样条件下不加动量项时所用的训练次数。说明增添动量项加速了收敛。而增添动量项后的训练结果与不加动量项时的结果几乎完好同样(一般仅在小数点后第五位有点差别)，这说明在

8、本例中增添动量项诚然加速了收敛，但对逼近的程度并无什么改良。(5.)实行测试平均选用5个点进行实行测试，其误差为0.000170499，上图中绿色o形标志为实行测试的结果，由图及误差能够看出，在本例中的实行测试收效比较好。2.f(x)=0.50.3*sinx,0乞1(1.)样本个数取为15，隐层节点数取为10，步长0.3,停止误差设为0.001,无动量项运行结果以下：训练次数：1485最后误差：0.000996835权值矩阵为：-0.140785-1.30367-1.98133-0.1407850.8505440.4500681-0.1407850.450068-0.1407850.45006

9、8-0.140785W1W0=0.450068-0.1407850.450068-0.1407850.450068-0.140785)0.450068.-0.1407850.450068（这里的权矩阵的取值比较齐整，原因同上。）逼近收效图:（2.）改变隐层节点数：当隐层节点数减少为5,其他设置不变时，要达到停止误差需要进行的训练次数为1215次o当隐层节点数增添为20,其他设置不变时，要达到停止误差需要进行的训练次数为1927次o当隐层节点数增添为50,其他设置不变时，要达到停止误差需要进行的训练次数为3002次0能够看出，此题中增添隐层节点数对改良逼近收效的作用其实不很显然。(3.)改变步长

10、：当步长减小为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为4365次，显然多于步长为0.4的状况。当步长增添为0.5，其他设置不变时，要达到停止误差需要进行的训练次数为1748次，少于步长为0.4的状况。当步长增添为0.8，其他设置不变时，要达到停止误差需要进行的训练次数为1542次，显然少于步长为0.4的状况。而当步长增添为1,其他设置不变时，要达到停止误差需要进行的训练次数只有1404次o这说明在此题中随着步长的增添，训练的次数减少。(4.)增添动量项当增添动量项，动量因子设为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为893次，显然少于同样条件下不加动量项时所

11、用的训练次数。说明增添动量项加速了收敛。同时，在matlab中标出增添动量项后的训练结果(红色o标志)，能够看出其与不加动量项时的结果几乎完好同样，这说明在本例中增添动量项诚然加速了收敛，但对逼近的程度并无显然改良。(5.)实行测试平均选用5个点进行实行测试，其误差为0.000186291，上图中绿色o形标志为实行测试的结果，由图及误差能够看出，在本例中的实行测试收效能够接受。3.f(x)=0.50.3*sin(2*x),0乞x1(1.)样本个数取为15，隐层节点数取为10，步长0.3,停止误差设为0.001,无动量项运行结果以下：训练次数：34044最后误差：0.000999987权值矩阵为

12、：0.576127-1.30367-3.155510.5762.386730.4928020.4928021272.386730.4928020.5762.386731270.4928020.W1WO2.386730.5764928022.386730.492802|0.1274928020.5762.386730.4928021272.386730.492802J0.5761272.38673（这里的权矩阵的取值比较齐整，原因同上。）（图中蓝线为原函数图像，红x为由该网络进行逼近获取的结果）（2.）改变隐层节点数：当隐层节点数减少为5,其他设置不变时，要达到停止误差需要进行的训练次数为154

13、45次o当隐层节点数减少为5,其他设置不变时，要达到停止误差需要进行的训练次数为11957次o能够看出，此题中增添隐层节点数对改良逼近收效的作用其实不很显然。隐层节点取20和50时所用的训练次数比隐层节点取10时要大。增添隐层节点其实不用然能增添精度或减少训练时间，在此题中反而会带来更长的训练时间。（3）改变步长：当步长减小为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为51064次，显然多于步长为0.4的状况。当步长增添为0.5，其他设置不变时，要达到停止误差需要进行的训练次数为118280次，少于步长为0.4的状况。当步长增添为0.8，其他设置不变时，训练速度极慢，训练的误差出

14、现显然的振荡，例如：在某一步误差为0.0066后，其下一步误差又增添为0.0092，而接下来一步的误差又变为0.0065，该例子说了然步长较大时，若获取合适则会加速收敛，若不合适，则会造成振荡而不再收敛。（4）增添动量项当增添动量项，动量因子设为0.2，其他设置不变时，要达到停止误差需要进行的训练次数为20467次，少于同样条件下不加动量项时所用的训练次数。说明增添动量项加速了收敛。五实验总结（1）网络构造：本实验采用三层前向神经网络使用BP算法以及加动量项的BP算法实现对单输入单输出函数的逼近，经过对三个不同样函数的逼近实验测试了BP算法的性能及隐层节点数目、步长、动量项等因素对BP网络训练和测试的影响。其中，合适增添隐层节点数能够改良网络性能，但在本实验中，隐层节点数取20和50时所用的训练次数比隐层节点取10时要大。可见增添隐层节点其实不用然能增添精度或减少训练时间，在本实验中反而会带来更长的训练时间；训练次数随着步长的增添而减小，不合适的步长增添会惹起振荡而增添训练次数甚至不再收敛；增添动量项后在同样条件下网络的收敛速度