完整word版最速下降法求解线性代数方程组

1、最速下降法求解线性代数方程组要求：对于给定的系数矩阵、右端项和初值，可以求解线性代数方程组一、最速下降法数学理论在基本迭代公式 Xk=Xk+tkPk中，每次迭代搜索方向 R取为目标函数f (X)的负梯度方向，即Pk=-f(Xk)，而每次迭代的步长tk取为最优步长，由此确定的算法称为最速 下降法。为了求解问题 min f (X)，假定我们已经迭代了 k次，获得了第k个迭代点Xk。现在从Xk出发，可选择的下降方法很多，一个非常自然的想法是沿最速下降方向(即负梯度方向)进行搜索应该是有利的，至少在Xk邻近的范围内是这样。因此，去搜索方向为Pk if (Xk).为了使目标函数在搜索方向上获得最多的下降

2、，沿Pk进行一维搜索，由此得到第k + 1个跌带点，即Xk = Xk-tkNf(Xk)，其中步长因子tk按下式确定f(Xk -tkf (Xk) =min f(Xk -tNf(Xk)，Xk+=ls(Xk，-Vf(Xk).显然，令k =0,1,2，就可以得到一个点列 Xo，Xi，X2；,其中Xo是初始点，由计算者任意选定。当f (X)满足一定的条件时，由式(1)所产生的点列Xk必收敛于f(X)的极小点。二、最速下降法的基本思想和迭代步骤已知目标函数f(X)及其梯度g(X)，终止限名2和5.(1)选定初始点 Xo，计算 f。= f (X0),g0 =g(X0)；置 k = 0.（2）作直线搜索：Xk

3、H! = is（xk，gk）；计算 fk+ = f （XkG，9叶= g（Xk4i）.用终止准则检验是否满足：若满足，则打印最优解(Xk和f (XkG)，结束；否则，置k = k + 1，转(2)(3)最速下降法算法流程图如图所示三、最速下降法的matlab实现fun cti on x,n=twoste p( A,b,xO,e ps,vararg in)%两步迭代法求线性方程组Ax=b的解if nargin=3eps= 1.0e-6;M = 200;elseif narginv3errorreturnelseif nargin =5M = varargi n1;endD=diag(diag(A

4、);%求 A的对角矩阵L=-tril(A,-1);%求A的下三角阵U=-triu(A,1);%求 A的上三角阵B1=(D-L)U;B2=(D-U)L;f1=(D-L)b;f2=(D-U)b;x12=B1*x0+f1;x =B2*x12+f2;n=1;%迭代次数while no rm(x-x0)=e psx0 =x;x12=B1*x0+f1;x =B2*x12+f2;n=n+1;if(n =M)endenddis p（ Warni ng:迭代次数太多，可能不收敛！）;return;fun cti on x, n= fastdow n( A,b,xO,e ps) %最速下降法求线性方程组Ax=b的解if(n argin = 3)eps = 1.0e-6;end x=x0;n=0;%以下过程tol=1;while(tole ps)可参考算法流程r = b-A*x0;d = dot(r,r)/dot(A*r,r);x = x0+d*r;tol = no rm(x-x0);x0 = x;n = n + 1;end四、最速下降法的算例