一种改进的多记忆BP神经网络算法(图文)

1、一种改良的多记忆BP神经网络算法(图文)论文导读：针对目前标准BP神经网络的缺点，提出基于高阶导数的多记忆BP算法，将能量函数的阶导数与最速下降方向相结合，构造出一个新的最速下降方向，从而提高了神经网络的学习速度。首先证明了该算法相对于传统梯度算法的快速性，然后给出了该算法的实现方法，并进行了算例仿真。结果证明，该算法便捷、实用、有效。关键词：神经网络，BP算法，高阶导数目前对前馈神经网络快速学习算法的研究主要集中在【1】：学习过程：对于输出节点：对于非输出节点：1.2基于高阶导数的多记忆BP神经网络算法的描述在本研究中选择三层BP神经网络模型，输入层结点个数由实际问题所决定，设输入层结点个数

2、为，隐含层结点个数为，输出层结点个数由实际问题所决定，设输出层结点个数为。设为训练样本输入对，其中；为网络的输入变量；为相应的理论输出；为网络的实际输出。能量函数取为，式中是训练模式对的个数，是输出单元的个数，为训练模式为时单元的理想输出，为训练模式为时单元的实际输出。为允许的误差值，鼓励函数取为。基于高阶导数的多记忆BP神经网络算法如下：1选择一组初始权值和初始阈值， 。免费。2将输入向量输入到神经网络中，输入按正向传播方式，计算各个结点的输出，最后得到相应的输出。3计算能量函数。4如果，那么修改权值，令，式中为在处的梯度，为对角阵的和，见式12。同理修改阈值，令，其中相对于而言，为学习率。

3、和的计算可参考文献。5返回到2，以为新的权值，为新的阈值，直到为止。1.3基于高阶导数的多记忆BP神经网络的收敛和快速性证明定义1 设在上有定义，非零向量，如果存在一个正数，使得对任意都有成立，那么称为在处的一个下降方向。引理1 设在处可微，假设非零向量满足不等式，那么为在处的一个下降方向。设为上有阶连续偏导数的实函数，引入记号(7)(8)(9)(10)式中，。构造一个维向量：(11)式中，为在处的梯度；为对角阵的和，即(12)其中，(13)(14)定理1 假设在上存在阶连续偏导数，那么由式11构造的为在处的一个下降方向。证明：(15)而由式711得，括号中第一项和第三项都是大于零，而第二项又

4、是小于零，那么得由引理知，为在处的一个下降方向。定理2 假设能量函数在上存在阶连续偏导数，那么当充分小时，(16)式中，即能量函数E(W)沿着方向进行迭代的效果要比沿负梯度方向进行迭代的效果要好。免费。证明：因为存在阶连续偏导数，故可以将在处展成一阶泰勒公式：(17)(18)式中与是关于的高阶无穷小。将上面二式相减，得：(19)又 (20) 而所以 (21) 那么当充分小时，有式中，当时，等式成立。即能量函数沿着方向进行迭代的效果要比沿负梯度方向进行迭代的效果要好。1.4算法仿真在以上理论证明中已经证明只有必要条件能量函数存在阶连续偏导数成立时，定理2才恒成立。不妨在实际仿真中取。我们采用三层

5、BP网络，在相同的初始权值和阈值的条件下，分别采用使用了梯度下降法的标准BP算法和基于二阶导数的多记忆BP算法进行计算，学习率，计算中的样本函数选取如下：1对函数在区间内均分选取十个点；2对函数在区间内均分选取十个点。计算结果如图1、图2所示。图中曲线为误差随学习次数的变化。曲线1为采用标准BP算法的误差收敛曲线，曲线2为基于二阶导数的多记忆BP算法的误差收敛曲线。从误差曲线上可以看出：基于二阶导数的多记忆BP算法和标准BP算法相比，其学习收敛速度有了明显的提高。本文所提出的基于高阶导数的多记忆BP算法，不但能有效地防止振荡，而且大大加快了网络的学习收敛速度。免费。 2结论理论证明，基于高阶导

6、数的多记忆BP算法，将能量函数的阶导数与最速下降方向相结合，构造出一个新的最速下降方向，从而提高了神经网络的学习速度。通过数字算例仿真，结果说明该算法是一种收敛速度快、稳定、适应性强的BP算法。参考文献：【1】 李翔.从复杂到有序：神经网络智能控制理论新进展.上海：上海交通大学出版社，2006：136142【3】 张艳辉，李立琳.智能控制的主要方法与研究热点. 郑州经济管理干部学院学报，Vol.20，No.4：86-88【5】 孙蕾，周明全.一种基于拟牛顿法的大类别分类算法. 小型微型计算机系统，2006,271：90-93【6】GlennFung, MangasarianOL.Proximal support vector machine classifiers. Proceedings of the Seventh ACMSIGKDDInternational Conference on Knowledge Discovery and Data Mining, Aug26-29, 2001,San Francisco, CA, F.Provost R.Srikant, editors, ACM, NY2001, 77-