神经网络的BP算法实验报告

计算智能基础实验报告实验名称：BP神经网络算法实验班级名称：341521班专业：探测制导与控制技术姓名：张浩鹏学号：34152107实验目的编程实现BP神经网络算法；探究BP算法中学习因子算法收敛趋势、收敛速度之间的关系；修改训练后BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。实验要求按照下面的要求操作，然后分析不同操作后网络输出结果。可修改学习因子可任意指定隐单元层数可任意指定输入层、隐含层、输出层的单元数可指定最大允许误差ε可输入学习样本（增加样本）可存储训练后的网络各神经元之间的连接权值矩阵；修改训练后的BP神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果。实验原理1BP神经网络算法的基本思想误差逆传播(backpropagation,BP)算法是一种计算单个权值变化引起网络性能变化的较为简单的方法。由于BP算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。BP神经网络是有教师指导训练方式的多层前馈网络，其基本思想是：从网络输入节点输入的样本信号向前传播，经隐含层节点和输出层节点处的非线性函数作用后，从输出节点获得输出。若在输出节点得不到样本的期望输出，则建立样本的网络输出与其期望输出的误差信号，并将此误差信号沿原连接路径逆向传播，去逐层修改网络的权值和节点处阈值，这种信号正向传播与误差信号逆向传播修改权值和阈值的过程反复进行，直训练样本集的网络输出误差满足一定精度要求为止。2BP神经网络算法步骤和流程BP神经网络步骤和流程如下：初始化，给各连接权及阈值赋予（-1,1）间的随机值；随机选取一学习模式对提供给网络；计算隐含层各单元的输入、输出；，计算输出层各单元的输入、输出；，计算输出层各单元的一般化误差；计算中间层各单元的一般化误差；修正中间层至输出层连接权值和输出层各单元阈值；修正输入层至中间层连接权值和中间层各单元阈值；随机选取下一个学习模式对提供给网络，返回步骤3），直至全部m个模式训练完毕；重新从m个学习模式对中随机选取一个模式对，返回步骤3），直至网络全局误差函数E小于预先设定的一个极小值，即网络收敛；或者，当训练次数大于预先设定值，强制网络停止学习(网络可能无法收敛)。结束学习。四、实验内容和分析实验时建立三层BP神经网络，输入节点2个，隐含层节点2个，输出节点1个，输入训练样本如下表：输入值输出0.00.00.00.01.01.01.00.01.01.01.00.0学习因子分别为0.5和0.6,最大允许误差0.01。训练结果：训练次数3906，全局误差0.0099955输入层与隐含层连接权值为-5.256265.04393-5.351865.43925隐含层与输出层连接权值为7.79517-7.43036隐含层神经元阈值为-2.771052.78374输出层神经元阈值为3.48078输入测试样本为0.050.10.20.90.860.95输出测试结果为0.0460.7860.043可见网络性能良好，输出结果基本满足识别要求。改变学习因子学习因子决定每一次循环训练中所产生的权值变化量。大的学习因子可能导致系统的不稳定；但小的学习因子导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于误差最小值。所以一般情况下倾向于选取较小的学习速率以保证系统的稳定性。改变输入层、隐含层、输出层的单元数当隐含层节点个数为3时，相同训练样本和测试样本，得到测试结果为0.0450.7990.039训练次数3742，全局误差0.0099959可见，改变输入层、隐含层、输出层的单元数，即改变网络结构，可以改善网络性能，增加隐含层节点个数可以更好的提取模式特征，识别结果更精确，但网络复杂度增加，可能不稳定。最大允许误差ε控制网络识别精度。选取较大值学习速度加快，但精度降低；选取较小值，学习速度变慢，精度提高，但可能导致网络无法收敛到允许的误差范围。增加学习样本在基本实验的基础上，增加一个学习样本0.11.01.0后，训练次数变增加为18982，全局误差为0.0099993，相同测试样本，测试结果为0.0050.8060.002网络学习速度降低，识别精度大大提高。另外，改变学习样本个数，将改变原有训练结果。改变部分连接权值将初始训练结果输入层与隐含层连接权值中-5.35186改为-4.00000后，测试结果为0.0450.7850.036网络性能被改变。五