求解无约束优化问题的共轭梯度法

求解无约束优化问题的共拆梯度法李芳梅，姚瑞哲指导老师：李良摘要：本文主要针对无约束优化问题，采用共轨梯度法(CG方法)求解此类问题，并得出其迭代次数及问题的解。论文对此种方法给出了详细事例，并对例子进行了matlab软件实现。.引言共铜梯度法时介于最速下降法与牛顿法之间的一个方法。它仅需采用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避开了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。共辗梯度法最早是由Hestenes和Stiefel(1952)提出来的，用于解正定系数矩阵的线性方程组。由于共辗梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点,现已广泛应用与实际问题中。.共粗梯度法共朝梯度法是共朝方向法的一种。所谓共朝方向法就是其全部的搜寻方向都是相互共版的方法。定义设G是nxn对称正定矩阵，出，ch是n维非零向量。假如diTGd2=0,则称向量出和d2是G-共辗的，简称共辗的。设出，d2,,dm是Rn中任一组非零向量，假如diTGdj=O(iwj),则称di,d2，…，dm是G-共辗的,简称共轮的。明显，假如di,d2，…，dm是共匏的，则它们是线性无关的。算法(共朝梯度法)步L初始步:给出xo,w>0,计算ro=Gxo-b,令do=-ro,k:=0.步2.假如|依友，停止.步3.计算ak=rkTrk/dkTGdkfXk+i=Xk+akdk,rk+i=rk+cikGdk,Pk=rk+iTrk+i/rkTrk,dk+i=-rk+i+Pkdk.步4.令k:=k+l,转步2.1.共辗梯度法的matlab实现(数值例子)首先建立如下的m•文件function[xziter]=cgopt(G/bzxOzmax_iter/tol)x=xO;fprintf(*\nxO=f)；fprintf('%10.6f》0);r=G*x-b;%残差d=-r;fork=l:maxiterifnorm(r)<=toliter=k-l;fprintf('\nAlgorithmfindsasolution!');returnendalpha=(r'*r)/(d'*G*d);%收敛速度xx=x+alpha*d;rr=r+alpha*G*d;beta=(rr,*rr)/(r,*r);d=-rr+beta*d;x=xx;r=rr;fprintf(*\nx%d=\k);enditer=maxjter;return然后建立CG_main的m.文件，带入数值例子functionCG_main()1Ox1+X2+2心+3%4+4%5—12X\+9工2—X3+—3xs——27<Xi—X2+7心+3x4—5xs=143xi+212+3心+12x4—Xs——\^14m_3xl5xlx4+15m=12g=[1Q1234;19-12-3;2-173-5;32312-1;4-3-5115]；b=[12-2714-1712]1;x0=[00000]1;max_iter=1000;tol=le-6;fprintf('ConjugateGradiantMethod:\n');fprintf('二二二二二二二二二二二二二二二二=\n');[x/iter]=cgopt(G/b/xO/max_iter;tol);fprintf('Iterativenumber:\n%d\n'/iter);fprintfCSolution^n1);fprintf('%10.6F,x);fprintf('\n================\n');4.结论实际上，共扼梯度法是最速下降法的一种改进。它不涉及矩阵，仅仅有向量运算，因而存储量小，适合于维数较高的优化问题。上述数值例子