牛顿法的MATLAB实现

牛顿法的MATLAB实现摘要：性能学习是神经网络中的一类很重要的学习规则，其旨在找到一个最优点来提高网络的性能。牛顿法是一种基于二阶泰勒级数的算法，逐步迭代来实现进一步的极小化，最后找到最优点。本文采用MATLAB编程来实现牛顿法，并通过具体的例子进行分析计算。关键字：牛顿法；MATLABRealiseNewton'sMethodbyusingMatlabAbstract:Performancelearningisoneofimportantlearningrulesinneuralnetwork,whichaimstofindanoptimalpointtoimprovetheperformanceofneuralnetwork.Newton'smethodisakindofalgorithmwhichbasedonsecond-orderTaylorseries,theiterationstepbysteptoachievefurtherminimization,andfinallyfindthemostadvantage.Inthispaper,byusingthematlab,Newton'smethodiseasilytorealizeanditalsogivesademonstrationtoanalyseandcalculation.Keywords:Newton'smethod;MATLAB0引言神经网络作为一门新兴的学科，在短短的数十年内已经被运用于多种学科领域，大量的有关神经网络机理、模型以及算法分析等方面的文章如雨后春笋般涌现。MATLAB是一种强大的工程计算和仿真软件，其基本上可以实现神经网络的各种设计方法和算法。牛顿法是求解优化问题最早使用的经典算法之一，其基本思想是用迭代点处的一阶导数和二阶导数对目标函数进行二次函数近似，然后把模型的极小点作为新的迭代点，并不断的重复这个过程，直至求得满足精度的近似极小点。1神经网络的性能优化在学习神经网络的过程中，性能学习是一种非常重要的学习规则，其目的在于调整网络参数以优化网络性能。优化过程可以分为两步，第一步是定义“性能”的标准，即找到一个衡量网络性能的定量标准，也就是性能指数；第二步是搜索减小性能指数的参数空间。假设最小化的性能指数是一个解析函数F(x)，它的各级导数均存在。那么F(x)可表示某些指定点x*上的泰勒级数展开，如下式所示F(x)=F(x*)+-dF(x)|x=x*(x—x*)dxx=x1d2+丁一F(x)| (x_x*)2+…2dx2 '八x=x*' 丿I1I1dnn!dxnF(X)lx=x*(x—X*)n+…⑴神经网络的性能指数并不仅仅是一个纯量x的函数，它是所有网络参数(各个权值和偏置值)的函数，参数的数量也不是确定的。因此，需要将泰勒级数展开式扩展为多变量形式。假设有下列n元函数。F(x)=F(X],x2,…,xn) ⑵把这个函数在点x*的泰勒级数展开，可以得到如下式子：

TOC\o"1-5"\h\zd dF(x)=F(x*)+dTF(x)lx=x*(xi-x1)+dTF(x)|x=x*(x2-x2)

12d 1d2+ +-—F(x)| (x_x*)+_—F(x)|(x_x*)2dx'八x=x*'nn 20X2、八x=x*'1 1yn+^^^F(x)|x=x*(x1_x1)(x2_x2)+…2dx1dx2 x_x1 1 2 2将这个表达式表示成矩阵的形式：F(x)=F(x*)+VF(x)| (x—x*)x=x+1(x_X*)tV2F(x)|x_x*(X—X*)2+…其中VF(x)为梯度，定义为VF(x)=宀F(x)』F(x)…丄F(x)]TLdx1 dx2 dx 」(4)(5)V2F(x)=)x

F

迟axx32x3)x23)xFX3(4)(5)V2F(x)=)x

F

迟axx32x3)x23)xFX3X3x32x3))xx((FF^^F(x)dxndxi-^^F(x)dxndx2…-^F(x)]dx2n通过限定泰勒级数展开式的数量，可以用泰勒级数近似估计性能指数。2牛顿法(7)F(xk+1(7)F(xk+1)=F(xk+Axk)〜F(xk)+ +；AxTAkAxkVF(x)=Ax+d(8)则有gk+AkAxk=0(9)求解Axk得Axk=_A_k1gk(10)于是将牛顿法定义为Axk+1=Axk_A_k1gk(11)其中Ak为在xk的赫森矩阵A=V2F(x)|k v八x=x*(12)因为牛顿法总是用一个二次函数逼近F(x)，然后求其驻点。如果原函数为二次函数(有强极小点)，它就能实现一步极小化。牛顿法最突出的有点是收敛速度快，具有局部二阶收敛性。初始点要足够的“靠近”极小点。由于实际问题中的精确极小点一般不是知道的，因此初始点的选取要适当。2牛顿法的原理是求F(x)的二次近似的驻点。用下式求这个二次函数对Axk的梯度并设它为零，3牛顿法的MATLAB实现牛顿法的步骤如下：、给定终止误差值epson=1e-12，初始点x0，令k=0。、计算gk=VF(xk)，若||gjl<epson,停止运算，输出、计算Gk=V2F(xk)、令Xk+i=Xk+P。k=k+1，转①。举一个例子，一个函数F(x)=e(x1-xi+2x2+4),以x0=[1—2]t为初始点，用牛顿法对其进行一次迭代。首先求梯度和赫森矩阵。梯度为Ox】丄F(x)dx2—F(x) (2Ox】丄F(x)dx2(13)VF(x)=[茫1一」=e(x2_xi+2x2+4)卜4x J](13)x2赫森矩阵为V2F(x)=d2菇V2F(x)=d2菇F(x)1d2F(x)d2dxdxF(x)12d2F(x)dx2 ]4x2_4x+3[dx2dxi=e(x12_x1+2x22+4)[(1 )1(2x1_1)(4x2)(2x1-1)(4x2)16x2+42(14)在初始点x0，有g0=倔叽。=豐霊林(15)A=V2g0=倔叽。=豐霊林(15)A=V2F(x)| =[0.049X107 _0-130X107]0 x=x0 _0.130X107 1.107X107(16)所以牛顿法的第一次迭代为x=x_A_1g1000=[1]_[0.049X107一0.130X107]-1[0.163X106]=[0.971]=[_2]_[_0.130X107 1.107X107][_1.302X106」=1■一1.886」F(x)的极小点即指数部分的极小点，即(17)x*=_A_1d=_[20]_1[_1」=[05]0 4 0 0(18)用MATLAB实现，源代码如下：symsx1x2f二exp(x「2-xl+2*x2"2+4);v=[x1,x2];df=jacobian(f,v);df=df.';G=jacobian(df,v);epson=1e-12;xm=[0,0]';g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});G1=subs(G,{x1,x2},{xm(1,1),xm(2,1)});k=0;while(norm(g1)>epson)p=-G1\g1;xm=xm+p;g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});G1=subs(G,{x1,x2},{xm(1,1),xm(2,1)});k=k+1;endkxm运行结果为：k=40.5000xm=[0]通过运行可以知道，经过4次迭代。找到了该函数的绩效点xm。牛顿法的收敛速度比较快，一次迭代过后基本上接近极小值，经过数次迭代之后，就可以进一步实现极小化。4结束语神经网络是一门很活跃的，应用范围特别广的学科。性能学习是最重要的神经网络学习规则之一。通过性能学习，网络参数能得到调节从而优化网络性能。牛顿法是一种基于二阶泰勒级数展开而导出的优化算法。对于二次函数，牛顿法能够一次迭代收敛到一个驻点。而对于复杂的函数，可以经过多次迭代，最后使其收敛到真正的极小点。神经网络的机理、算法及模型可以应用到各个科学领域中去，众多的神经生理学家、心理学家、数理学家、计算机与信息工程学家及企业家等对其的进一步研究和应用，使神经网络日益成为当代高科技领