解非线性方程组的迭代法

前面介绍的解线性方程组的直接法是解低阶稠密方程组的有效方法。但是，在工程技术中常产生大型稀疏矩阵方程组，例如由某些偏微分方程数值解所产生的线性方程组Ax=b，A的阶数很大，但零元素较多，迭代法是能够充分利用系数矩阵稀疏性特点的有效算法。第四章解线性方程组的迭代法

1迭代法的构造

迭代法的基本思想是用逐次逼近的方法求线性方程组的解。设有方程组,将其转化为等价的便于迭代的形式（这种转化总能实现，如令）并由此构造迭代公式

其中，称为迭代矩阵，称为迭代向量。对任意的初始向量，由迭代式可求得向量序列若，则就是方程组Ax=b的解.2§4.1解线性方程组的三种迭代法4.1.1．雅克比（Jacobi）迭代法（以三阶方程组为例）设有方程组：3假设任选一向量X(0)作为解的初值.则方程组可写为：代入式(4.1)中得方程组的一次近似.4把X(1)

再代入到(4.1)中得方程组的二次近似.重复这一过程,假设得到了m次近似X(m)。代入到(4.1)中可得m+1次近似X(m+1)。称此迭代公式为原方程组的雅可比迭代公式.5对于n阶方程组则雅可比迭代公式为:6若用矩阵来记录雅可比矩阵,可作如下的推导:令A=D-L-U,其中7则有AX=DX-LX-UX=b.即DX=b+(L+U)X从而有DX(m+1)=b+(L+U)X(m).若则D可逆,于是得称BJ为雅可比迭代矩阵.这种迭代格式称为雅可比迭代格式。8在某种条件下，按雅可比迭代所产生的向量序列的极限会存在，且等于原方程组的解。这种求解方法被称为雅可比迭代法，或简单迭代法。定义4.1如果向量序列{X(m)}={(x1(m)

,x2(m)

,…xn(m)

}

有

xi(m)

→xi*

（i=1,2,3,…n）(m→∞)

则称向量X*=(x1*,x2*,…xn*)为向量序列{X(m)}的极限,记为:9例用简单迭代法解下列方程组

解将方程组写成等价形式10取初始值x(0)=0,按迭代公式

114.1.2高斯——赛德尔迭代法对雅可比迭代法作如下的改进:将初值代入4.1的第一个方程可得,用代入第二个方程得,用代入第三个方程得,这样一直做下去,直到得到满意的解为止.之所以作这样的改进是希望更快的得到近似解.12这种迭代的方法用公式写出来就是:13对给定的初值,用此迭代公式求线性方程组的方法被称为高斯—塞德尔迭代法。（G—S）一般地,对n阶线性方程组的迭代格式改为:14用矩阵表示此方法为：即：称BG为高斯——塞德尔迭代矩阵15例用赛德尔迭代法解方程组解将原方程组写成等价形式并按(3―75)构造赛德尔迭代公式16例1：分别用两种迭代法求下列线性方程组。初值均取(0，0，0)T解:用matlab解,程序如下17%用雅可比法解P91例1a=[9,-1,-1;-1,8,0;-1,0,9];D=-(a-triu(a)-tril(a));L=-(tril(a)-b);U=-(triu(a)-b);xo=[0;0;0];bo=[7;7;8];ep=0.0001;dx=1;k=0;whiledx>epk=k+1;x=D\(L+U)*xo+D\bo;dx=abs(norm(x)-norm(xo));xo=x;endk,x%用G_S法解P91例1a=[9,-1,-1;-1,8,0;-1,0,9];D=-(a-triu(a)-tril(a));L=-(tril(a)-b);U=-(triu(a)-b);xo=[0;0;0];bo=[7;7;8];ep=0.0001;dx=1;k=0;whiledx>epk=k+1;x=(D-L)\U*xo+(D-L)\bo;dx=abs(norm(x)-norm(xo));xo=x;endk,x18

在多数情况下用高斯—赛德尔迭代法比雅克比迭代法收敛快。但也有相反的情况，即高斯—赛德尔迭代法比雅克比迭代法收敛慢，甚至还有雅克比迭代法收敛，高斯—赛德尔迭代法发散的情形。194.1.3超松弛迭代法

弛迭代法是高斯—赛德尔迭代法的一种改进,是解大型稀疏矩阵方程组的有效方法之一.

现在研究如何求向量首先，由高斯—赛德尔迭代法求出一个值，记20首先，由高斯—赛德尔迭代法求出一个值，记21用此公式求解线性方程组的方法称为带有松弛因子ω的松弛迭代法.

当ω>1时称为超松弛迭代法;(SOR法)当ω<1时称为低松弛迭代法;当ω=1时就是G—S迭代法.

当某些方程组用高斯—赛德尔迭代法不收敛时，可以用低松弛方法获得收敛，22将上式写成矩阵的形式，得：于是得SOR迭代的矩阵表示

23例用SOR法求解方程24%用SOR法解P96例2a=[4,-2,-4;-2,17,10;-4,10,9];D=-(a-triu(a)-tril(a));L=-(tril(a)-D);U=-(triu(a)-D);xo=[0;0;0];bo=[10;3;-7];omiga=1.46;ep=0.000001;dx=1;k=0;whiledx>epk=k+1;x=(D-omiga*L)\(omiga*U+(1-omiga)*D)*xo+(D-omiga*L)\bo*omiga;dx=abs(norm(x)-norm(xo));xo=x;endk,x25Matlab的关于三种迭代法的通用程序%雅可比法解方程的通用程序%A为线性方程组,X为初值function[x,k]=ya2(A,X)n=length(A');a=A(:,1:n-1);bo=A(:,n);N=size(X);ifN(1)<N(2)xo=X';elsexo=XendD=-(a-triu(a)-tril(a));L=-(tril(a)-D);U=-(triu(a)-D);ep=0.0001;dx=1;k=0;whiledx>epk=k+1;x=D\(L+U)*xo+D\bo;dx=norm(x-xo);xo=x;end1.雅可比迭代法的通用程序262.高斯_塞德尔迭代法的通用程序%G_S法解方程组的通用程序%A为线性方程组,X为初值function[x,k]=ya4(A,X)n=length(A');a=A(:,1:n-1);bo=A(:,n);N=size(X);ifN(1)<N(2)xo=X';elsexo=XendD=-(a-triu(a)-tril(a));L=-(tril(a)-D);U=-(triu(a)-D);ep=0.0001;dx=1;k=0;whiledx>epk=k+1;x=(D-L)\U*xo+(D-L)\bo;dx=norm(x-xo);xo=x;end273.SOR法解线性方程组的通用程序%SOR法解方程组的通用程序%A为线性方程组,X为初值%omiga为松弛因子function[x,k]=ya3(A,X,omiga)n=length(A');a=A(:,1:n-1);bo=A(:,n);N=size(X);ifN(1)<N(2)xo=X';elsexo=XendD=-(a-triu(a)-tril(a));L=-(tril(a)-D);U=-(triu(a)-D);ep=0.0001;dx=1;k=0;whiledx>epk=k+1;x=(D-omiga*L)\(omiga*U+(1-omiga)*D)*xo+(D-omiga*L)\bo*omiga;dx=norm(x-xo);xo=x;end284.2迭代法的收敛条件

前面介绍了三种迭代法.从例子看到这三种迭代法都有成功的时候.但我们也可以预计,某种迭代法可能会失效.下面我们试图从理论上来探讨这一问题.三种迭代法的统一写法为:29定义设给定Rn中的向量序列{}，即其中若对任何i(i=1,2,…,n)都有或者说向量序列{}依坐标收敛于向量，记为则向量

称为向量序列{}的极限，4.2.1迭代法收敛的概念30证:再由范数的等价性有引理向量序列{x(m)}依坐标收敛于x*的充要条件是向量序列依范数收敛与依坐标收敛是等价的。如果满足此式，称x(m)依范数收敛于x*31定义4.2设x*是方程组Ax=b的解,对于给定的初始向量x(0),若由某种迭代法产生的向量序列{x(m)}有则称该方法收敛,否则称该方法发散.324.2.2迭代法收敛的判定定理定理4.1设若则对任意的初始向量,该迭代过程收敛于的唯一解,且有估计式33证:先证若则E-B非奇异.用反证法:设E-B是奇异的,则存在非零向量x,使(E-B)x=0.即有x=Bx.两边取范数,再由范数的性质得由于得与矛盾34由于E-B是非奇异的，所以方程组(E-B)x=f的解存在且唯一.设为x*,即x*=Bx*+f,进而有取范数得:由于0<q<1,所以35所以迭代过程收敛.又于是有即(1)式成立.36再由于所以有即(2)式成立.

(2)式提示我们可以利用来控制误差37例写出用雅可比迭代法和G-S迭代法解线性方程组收敛的迭代格式。解：对A分解于是38由此得所以用雅可比迭代法和G-S迭代法求解方程组都收敛。分别为：39定义4.3如果方阵A满足则称A按行严格对角占优.(类似地可定义按列严格对角占优)注意:是对角占优,不是严格对角占优.40定理4.2若方程组Ax=b的系数矩阵按行(列)严格对角占优,则雅可比迭代法收敛,G-S迭代法也收敛.证:先证雅可比迭代法收敛.因为:所以由定理4.1,Ax=b存在唯一解x*.且用雅可比迭代法求解收敛.可证G-S迭代法收敛(略)41以上两个定理都是收敛的充分条件.

下面给出一个充分必要条件：定理4.3对于任意的初始向量,由产生的向量序列收敛的充分必要条件是42例：写出用雅可比迭代法求解方程组一定收敛的迭代格式。解：对A进行分解从而43由BJ的特征多项式得特征值为：1=2，2=-2。所以(BJ)=2>1由此例可以看到:对原方程组