m神经网络工具箱算法比较

1、计算机第 23卷 第 5期2006年 5月文章编号: 1006 - 9348 ( 2006) 05 - 0142 - 03神经网络工具箱 BP算法比较蒲春 ,孙政顺 ,赵世敏(自动化系,北京 100084)摘要 : BP前馈网络,应用的最为广泛的神经网络,目前拥有许多算法。研究了神经网络工具箱提供的多种 BP算法函数各自的优势和不足,以能在各种不同条件面对不同问题时选用更合适更快速的算法。在介绍了这些算法的基本原理的基础上,以一级倒立摆模型为例进行研究。分别选用简单网络和复杂网络,并对学习步长做了改变,对比了各种 BP算法在不同情况下的迭代次数和时间,验证了新型 BP算法的优势,得出了对简单网

2、络和复杂网络应该如何选用 BP算法的结论。:神经网络工具箱; 反向算法; 倒立摆号 : TP391. 9文献标识码 : ACom par ison of BP A lgor ithm s inNN ToolboxPU Chun, SUN Zheng - shun, ZHAO Shi - m in(Dep t. of Autom ation, Tsinghua University,100084, China)ABSTRACT:BP feed forward network, the mostwidely used neural network, hasmany algorithm s at p

3、 resent. Advan2tages and disadvantages of various BP algorithm s p rovided inneural netwo rk too lbox are studied so that peop lecan choose more suitable and faster algorithm s when different conditions and different p roblem s are faced. After intro2 ducing the basic p rincip le of these algorithm

4、s, study of sim ulation is carried out by using a single inverted pendulumas examp le. Choosing simp le and comp lex nets respectively, and changing the learning step s, the iteration step s and sim ulation time of various BP algorithm s in different conditions are compared. Advantages of new BP alg

5、orithm s are validated. Advice on how to select BP function is given.KEYW O RD S:Neural network too lbox; BP algorithm; Inverted pendulum1 引言神经网络是从微观结构和功能上模拟人脑的组织结构和运行机制 ,由大量简单的神经元分层组织在一起 ,实现人脑的某些功能。它不需要对被描述的对象建模 ,能够较好地描述非线性系统和不确定性系统。神经网络具有可并行计BP前馈网络是应用的最为广泛的神经网络。标准的BP网络是根据 W idrow - Hoff规则 ,采用梯度下降算

6、法 ,反向计算各层系数的增量。在实用中 BP算法存在着两个重要问题:收敛速度慢和目标函数存在局部极小。这大大限制了BP网络的应用。随着研究新的快速有效的算法出现了。对 BP网络的深入研究 ,许多以神经网络为基础 ,包算、分布式信息应用在非线性、自适应和自学习功能强等优点 ,被广泛领域。网络的学习过程由正向和反向传含着大量 BP网络的作用函数和算法函数 ,为 BP网络的研究提供了便利的工具。众多的算法各自有各自的特点 ,在不同情况下选用合适的算法可以达到事半功倍的效果。播二部分组成。在正向过程中 ,工作信号由施加输入信号后向前,通过与神经元的权值和作用函数进行作用产生输出 ,直到输出端得到实际输

7、出的信号。反向中 ,实际输出与期望输出的误差 ,从输出端逐层的反向过程。神经网络工具箱中各种 BP算法函数2在反向的过程中修改各层神经元的权值。这二个过程1) traingd:最基本的 BP算法。反向采用的是梯度的交替反复 ,使得网络的实际输出逐渐向期望输出逼近。下降法 ,按照梯度下降的方向修正各连接权的权值。权值的dX = lr 3 dperf / dX, 其中 d表示微分 (下同 ) , lr为修正量收稿日期: 2005 - 01 - 21学习步长 , X 为神经元连接权值 , perf 为网络性能函数 , 默认 142 的一种折衷方法。权值根据 X = X + a 3 dX修正 , dX

8、是搜索方向 , a 用来沿着搜索方向最小化性能函数。最初的搜索方向沿着梯度的负方向 , 再之后的迭代中按照 dX = - gX + A c 3 X step + B c 3 dgX 来修改 ,其中 X step是前次迭代权值的变化 , dgX 是最近一次迭代梯度的变化 , A c与 B c是新是平均平方误差 m se。tra ingd的收敛速度很慢 , 学习步长的选择很重要 , 过大容易振荡 ,无法收敛到深窄的极小点 , 过小则容易爬行 , 或者陷于局部极小。2) traingdm:附加动量的梯度下降法。该方法是在反向法的基础上 ,在每一个权值变化上加上一项正比于前次权值变化的值 ,并根据反向

9、来产生新的权值的变化 ,其的搜索方向的调整参数。由于不需要Hessian 矩阵 ,公式为 dX = m c 3rev + lr 3 ( 1 - m c) 3 dperf / dX,trainoss算法单步需要的计算量和比共轭梯度法略大。量都比 trainbfg要小 ,prev表示上一轮学习的参数 , mc为动量项。3) 以上两种是最原始的 BP算法。它们确实可以解决多层网络的学习问题 ,但是收敛速度的过于缓慢阻碍了神经网络的发展。简单的网络用其学习还可以应用 ,当网络结构比较复杂的时候 ,学习的时间会很长。4) traingda, traingdx: 这两种算法都是自适应学习步长法。学习步长可

10、以根据误差性能函数进行调节 ,能够解决标准 BP算法中学习步长选择不当的问题。自适应学习步长法检查权重的修正值是否真正降低了误差函数。如果确实如此 ,则说明选取的学习步长有上升的空间 ,可以对其增加一个量。如若不是 ,那么就应减小学习步长的值。当性能函数m se ( k + 1) < m se ( k) 的时候 ,增大步长 lr = lr inc 3 lr;当m se ( k + 1) > 1. 04 3 m se ( k) 时 ,减小步长 lr = lr dec 3 lr; 当 m se ( k + 1) 位于 m se ( k) 与 1. 04 3 m se ( k) 之间的时

11、候 , 步长不变。 traingda和 traingdx的区别在于 , traingdx是 traing2 da的附加动量形式。5) trainrp:弹性 BP算法。这种方法消除偏导数的大小对权值的有害影响 ,只利用导数的符号表示权更新的方向 , 而不考虑导数的大小。dX = deltaX. 3 sign ( gX) , gX 是梯度 , deltaX 是权值更新值 ,会根据 gX 出现的反复和符号的异同进行修正。这种算法具有收敛速度快和占用内存小的优点。6) traincgf, traincgp, traincgb, trainscg: 四种共轭梯度法。分别采用 Fletcher - Ree

12、ves算法、Polak - R ibiers算法、Powell- Beale算法、成比例的共轭梯度算法。这几种方法收敛速度比普通的梯度下降法要快很多。前三种方法都需要线性9) trainlm: Levenberg - Marquardt优化算法 ,权值根据 dX= - ( jXT 3 jX + I3 m u) - 1 jXT 3 E进行修正 ,其中 jX为误差对权值微分的 Jacobian矩阵 , E为误差向量 , mu为调整量。该方法学习速度很快 ,但占用内存很大 ,对于中等规模的网络来说 ,是最好的一种训练算法。对于大型网络 ,可以通过置参数 m em - reduc将 Jacobian矩

13、阵分为几个子矩阵。这样可以减少内存的消耗 ,但学习时间会增大。10) trainbr:贝叶斯规则法。对 Levenberg - Marquardt算法进行修改 ,降低了确定最优网络结构的难度。3 对一级倒立摆的比较下面以一个一级倒立摆的模型为例比较一下各种 BP算法的学习时间与迭代次数。倒立摆系统是一个典型的多变量、非线性、强耦合和快速运动的自然不稳定系统。为一阶倒立摆系统做如下假设 :1) 各部分得摩擦力 (力矩 ) 与相对速度 (角速度 ) 成正比;2) 整个对象系统 (除丝绳外 )视为刚体;3) 丝绳无伸缩现象;4) 电路中信号传递和机械传递迟延不计。定义符号意义如下:r 小车位移 摆相

14、对小车角位移摆质量M 小车质量mJ 摆对质量重心的转动惯量L 摆的重心至转轴的长度搜索 ,量的要求依次增大 ,对收敛速度来讲 ,不同的问题F 小车系统的摩擦系数F1白的摩擦阻力矩系数会不同。Trainscg不需要线性搜索 ,比前三种方法需要的迭G0 直流放大器和电机的放大系数 , 即小车上的牵引力与直流放大器的输入电压之比对一级倒立摆做运动分析 ,并在平衡点附近做线性化 ,得到倒立摆的状态方程:代次数,但每次迭代的计算量要小许多。共轭梯度算法的计算代价比较低 ,在较大规模问题中十分有用。7) trainbfg:拟牛顿算法。权值根据 X = X + a 3 dX修改 , dX 是搜索方向 , a

15、用来沿着搜索方向最小化性能函数。最初的搜索方向沿着梯度的负方向 , 再之后的迭代中按照 dXx?1 x?2 x?3x?4x1 x2 x3x40I23 20= -3 gX 来修改 , H 为近似 Hessian矩阵。Trainbfg算H- 1=+u3 - 1 33 - 1 33 - 1 3MNMFMG法需要的迭代次数比较少 ,但由于要每步都要Hessian矩阵 ,所以单步计算量和量都很大 ,适合小型网络。8) trainoss:一步割线算法。为共轭梯度法和拟牛顿法其中令: 143 0分别取 0. 0001 和 0. 00001;复杂网络为 4 层 ,各层神经元数分别为 30, 50, 20, 1

16、,目标误差取 0. 0001。经过多组训练 ,得到的结论基本相同。取其中一组 ,训M + mmLm l- F033M=, F=J + mL2- F1Go00N 3, G3) T( r r?) TX = ( x x x x=1 2 3 4练时间迭代次数如表 1 (划 X的因其劣势很明显 ,未做,0 m gL0其中 traingd和 traingdm 简单网络 ( goal = 0. 0001)学习步长为0. 05,其余对步长未做改动 )对倒立摆用各种 BP算法进行学习 ,分别以 1 个简单网络和复杂网络进行。简单网络为两层 ,各层神经元数分别为 12, 1,目标误差表 1 对一级倒立摆的比较简单

17、网络 ( goal = 0. 0001)简单网络 ( goal = 0. 00001)复杂网络 ( goal = 0. 0001)BP函数时间 ( s)时间 ( s)时间 ( s)迭代次数迭代次数迭代次数1. 9558 × 103traingd42997Xtraingdm23061949. 6570X2. 9487 × 103traingda13905559. 6250XX228012. 5544 × 103traingdx6203223. 9530684372646273. 1410trainrp81729. 31206802150. 947020642. 45

18、30traincgf21914. 469044221. 992016538. 3600traincgp23615. 359080434. 569027461. 0790traincgb16012. 094043019. 678014439. 0940trainscg46829. 328068025. 576022655. 12501. 9175 × 103trainbfg586. 984025313. 279037trainoss46531. 29706219240. 386019949. 7030trainlm112. 3120145. 14808286. 43705. 0967 × 103trainbr1213. 65701295. 8310334 结论由表 1的动量法 ,需要的步长 0. 01的时候 ,算法 J . 科技通报, 2002, 19 ( 2) : 130 - 135. 2 兰雪梅,等. BP网络的19 ( 1) : 6 - 9.实现 J . 微型电脑应用, 2003,结果可以看出 ,原始的 BP算法和其附加时间过长 ,基本不适用。采用默认学习出现严重的爬行 ,步长的选择极大的范辉. 倒立摆京:系统设计及