数值分析讲义——线性方程组的解法

1、数值分析讲义第三章 线性方程组的解法§3.0 引言 §3.1 雅可比(Jacobi)迭代法 §3.2 高斯-塞德尔(Gauss-Seidel)迭代法§3.3 超松驰迭代法 §3.7 三角分解法§3.4 迭代法的收敛性 §3.8 追赶法 §3.5 高斯消去法 §3.9 其它应用 §3.6 高斯主元素消去法 §3.10 误差分析 §3 作业讲评3 §3.11 总结 §3.0 引 言 重要性：解线性代数方程组的有效方法在计算数学和科学计算中具有特殊的地位和作用.

2、如弹性力学、电路分析、热传导和振动、以及社会科学及定量分析商业经济中的各种问题. 分类：线性方程组的解法可分为直接法和迭代法两种方法.(a) 直接法：对于给定的方程组，在没有舍入误差的假设下，能在预定的运算次数内求得精确解.最基本的直接法是Gauss消去法，重要的直接法全都受到Gauss消去法的启发.计算代价高.(b) 迭代法：基于一定的递推格式，产生逼近方程组精确解的近似序列.收敛性是其为迭代法的前提，此外，存在收敛速度与误差估计问题.简单实用,诱人. §3.1 雅可比Jacobi迭代法 (AX=b)1 基本思想:与解f(x)=0 的不动点迭代相类似,将AX=b改写为X=BX+f

3、的形式,建立雅可比方法的迭代格式：Xk+1=BX(k)+f ,其中，B称为迭代矩阵.其计算精度可控,特别适用于求解系数为大型稀疏矩阵(sparse matrices)的方程组.2 问题:(a) 如何建立迭代格式？ (b) 向量序列Xk是否收敛以及收敛条件?3 例题分析:考虑解方程组 (1)其准确解为X*=1, 1.2, 1.3.建立与式(1)相等价的形式： (2)据此建立迭代公式： (3) 取迭代初值,迭代结果如下表. JocabiMethodP31.cpp 迭代次数 x1 x2 x30 0 0 01 0.72 0.83 0.842 0.971 1.07 1.153 1.057 1.1571

4、1.24824 1.08535 1.18534 1.282825 1.095098 1.195099 1.2941386 1.098338 1.198337 1.2980397 1.099442 1.199442 1.2993358 1.099811 1.199811 1.2997779 1.099936 1.199936 1.29992410 1.099979 1.199979 1.29997511 1.099993 1.199993 1.29999112 1.099998 1.199998 1.29999713 1.099999 1.199999 1.29999914 1.1 1.2 1.

5、315 1.1 1.2 1.3 4 Jocobi迭代公式:设方程组AX=b, 通过分离变量的过程建立Jocobi迭代公式，即 由此我们可以得到Jacobi迭代公式：Jacobi迭代公式的算法1: 初始化. n, (aij), (bj), (x1) , M.2: 执行k=1直到M为止. 执行i=1直到n为止. ; 执行i=1直到n为止. ; 输出k, (xi).另外，我们也可以建立Jacobi迭代公式的矩阵形式.设方程组AX=b,其中，A=(aij)n为非奇异阵，X=(x1,x2,xn)T, b=(b1,b2,bn)T将系数阵A分解为: A=U+D+L,U为上三角矩阵，D为对角矩阵，L为下三角矩

6、阵.于是AX=b可改写为(U+D+L)X=b X=D-1b-D-1(U+L)X由此可得矩阵形式的Jocobi迭代公式： Xk+1=BX(k)+f §3.2 高斯-塞德尔Gauss-Seidel迭代法注意到利用Jocobi迭代公式计算时，已经计算好的值，而Jocobi迭代公式并不利用这些最新的近似值计算，仍用.这启发我们可以对其加以改进,即在每个分量的计算中尽量利用最新的迭代值，得到上式称为Gauss-Seidel迭代法.其矩阵形式是X=-(D+L)-1UX+(D+L)-1b, Xk+1=BX(k)+f .迭代次数 x1 x2 x3 0 0 0 0 1 0.72 0.902 1.164

7、4 2 1.04308 1.167188 1.282054 3 1.09313 1.195724 1.297771 4 1.099126 1.199467 1.299719 5 1.09989 1.199933 1.299965 6 1.099986 1.199992 1.299996 7 1.099998 1.199999 1.299999 8 1.1 1.2 1.3§3.3 超松驰迭代法SOR方法1 基本思想:逐次超松弛迭代法(Successive Over Relaxation Method,简写为SOR)可以看作带参数的高斯-塞德尔迭代法，是G-S方法的一种修正或加速.是求解

8、大型稀疏矩阵方程组的有效方法之一.2 SOR算法的构造:设方程组AX=b, 其中，A=(aij)n为非奇异阵，X=(x1,x2,xn)T, b=(b1,b2,bn)T.假设已算出x(k)， (1)相当于用高斯-塞德尔方法计算一个分量的公式.若对某个参数，作与加权的平均,即 (2)其中，称为松弛因子.用(1)式代入(2)式，就得到解方程组AX=b的逐次超松弛迭代公式： (3)显然，当取=1时，式(3)就是高斯-塞德尔迭代公式.3 例题分析:利用SOR方法解方程组 (1)其准确解为X*=1, 1, 2.建立与式(1)相等价的形式： (2)据此建立迭代公式： (3)利用SOR算法，取迭代初值,=1.

9、5,迭代结果如下表. 逐次超松弛迭代法次数 x1 x2 x3 1 0.625000 0.062500 1.750000 2 0.390625 0.882813 1.468750 3 1.017578 0.516602 1.808594 4 0.556885 0.880981 1.710449 5 1.023712 0.743423 1.868103 6 0.746250 0.908419 1.838737 7 0.997715 0.860264 1.913894 8 0.864050 0.936742 1.908605 9 0.986259 0.922225 1.945523 10 0.928

10、110 0.958649 1.947493 11 0.985242 0.955944 1.966198 12 0.961661 0.973818 1.969521 13 0.988103 0.974699 1.979289 14 0.979206 0.983746 1.982172 15 0.991521 0.985318 1.987416 16 0.988509 0.990038 1.989513 17 0.994341 0.991414 1.992397 18 0.993538 0.993946 1.993806 19 0.996367 0.994950 1.995424 20 0.996

11、313 0.996342 1.996331 21 0.997724 0.997018 1.997254 22 0.997871 0.997798 1.997822 23 0.998596 0.998234 1.998355GS迭代法须迭代85次得到准确值X*=1, 1, 2;而SOR方法只须55次即得准确值.由此可见，适当地选择松弛因子，SOR法具有明显的加速收敛效果. §3.4 迭代法的收敛性1. 向量和矩阵范数 (a) 向量范数 Rn空间的向量范数 | · | ,对任意, 满足下列条件： (正定性) (齐次性) （三角不等式） 常见的向量范数有：(1) 列范数：(2)

12、谱范数：(欧几里德范数或向量的长度,模)(3) 行范数：(4) p范数: 上述范数的几何意义是:=max(|x2-x1|,|y2-y1|) ;=|x2-x1|+|y2-y1| ;. 向量序列依坐标收敛于向量x* 的充要条件是向量序列依范数收敛于向量x*,即.(b) 矩阵范数 空间的向量范数 | · | ,对任意, 满足下列条件：常见的矩阵范数有： (行和范数) (列和范数) (谱范数) 若A对称，则有. 矩阵A的谱半径记为,r(A) =,其中li 为A 的特征根。2. 迭代法基本定理 设有方程组X=BX+f,对于任意初始向量X(0)及任意f,迭代公式X(k+1)=BX(k)+f收敛的

13、充要条件是<1,为矩阵B的谱半径.证：设X*为方程组X=BX+f的准确解，即 X*=BX*+f.对于任意初始向量X(0)及任意f,迭代公式X(k+1)=BX(k)+f,于是， 由此可得,迭代法收敛的充要条件是.即,<1. 上述定理是线性方程组迭代解法收敛性分析的基本定理，然而由于的计算往往比较困难，尽管有各种办法估计的上界，但往往偏听偏大而不实用，由此导致定理的理论价值胜于实用价值，为满足实际判敛的需要，有如下定理. (迭代收敛的充分条件) 设有迭代公式X(k+1)=BX(k)+f，如果|B|<1,则对于任意初始向量X(0)及任意f, 迭代公式均收敛.3. 从方程组的系数矩阵

14、A判断迭代收敛性实际中要求解的某些线性方程组，其系数矩阵往往具有一些特点，如系数矩阵为对称正定、对角元素占优等.由这些方程组系数矩阵的特殊性，使得我们可以直接从方程组的系数矩阵A出发来讨论迭代法的收敛性. 设，满足 且至少有一个i值，使得 成立，则称A为对角占优矩阵；若 ,则称A为严格对角占优矩阵. 如果为严格对角占优矩阵，则对任意的初值x(0),解方程组AX=B的Jacobi法、Guess-Seidel迭代法均收敛. HW: 3.1 3.2 3.3（上机实习） §3.5 高斯消去法 1 基本思想:用高斯消去法求解线性方程组的基本思想是设法消去方程组的系数矩阵A的主对角线下的元素，而

15、将Ax=b化为等价的上三角形方程组，然后再通过回代过程便可以获得方程组的解.这种解线性方程组的方法，常称为高斯消去法(Gaussian Elimination).2 例题分析:利用高斯消去法求解方程组: (1)利用ri-,i=2,3,4.得 (2)利用ri-,i=3,4.得 (3)利用ri-,i=4.得 (4)显然，方程组(4)与(1)是等价的，其系数矩阵为上三角状的，易于求解.称以上过程为高斯消去法的消去过程.通过方程组(4)的回代求解，可以得到准确解为X*=1, -3, -2,1T. 这一过程为高斯消去法的回代过程. 2 高斯消去法算法的构造:记方程组AX=b为A(1)X=b(1), 其中

16、，A(1)和b(1)的元素分别记为Step1:第一次消元 设，将增广矩阵的第i行减去倍，(i=2,n),目的是将增广矩阵的第一列内除每一个元素不变外，其余全部消为零，得到A(2)X=b(2),即其中 Step2:第k次消元() 设第k-1次消元已完成，且，得到A(k)X=b(k),即计算因子， 如此反复，经过n-1次消元之后得到一个与原方程组等价的上三角形方程组.Step3:回代 只要就可以回代求解3 高斯消去法算法Step1消元:对k=1,2,n-1 若则停止计算 对i=k+1,k+2,n 计算因子;对j=k+1,k+2,n 计算;Step2回代: 对i=n,n-1,1 （高斯消去法的条件）

17、(1) 若A的所有顺序主子式均不为0，则高斯消元无需换行即可进行到底，且得到唯一解.(2) 若消元过程中允许对增广矩阵进行行交换，则方程组Ax=b可用消去法求解的充要条件是A可逆.§3.6 高斯主元素消去法1 主元素及其选取问题Gauss消去法第k次消去是用第k个方程来消去第k+1,n个方程中的xk,条件是.是实现第k次消元的关键元素，称为第k次消去的主元(素).Gauss消去法存在的问题是：(1) 顺序消元时一旦产生(这是经常可能的)，消元过程则中断；(2) 此外，即使但绝对值很小时，由于用它作除数，引起在消去过程中出现数量级及舍入误差急剧增长的系数，而使最后的计算解严重地不可靠.

18、例：单精度求解方程组其准确解为 当利用Gauss消元法时，舍入误差 恶性传播× · 基本思想: 主元素法是对Gauss消去法的改进. 它全面或局部地选取绝对值大的元素为主元素，仅对Gauss消去法的步骤作某些技术性地修改，使之成为一种有效的方法.从而保证和改善算法的数值稳定性.2 完全主元素消去法设方程组AX=b, 其中，A=(aij)n为非奇异阵，X=(x1,x2,xn)T, b=(b1,b2,bn)T.经过k-1次选主元消元后，得到下列等价方程组： 选主元过程 在矩阵中选取绝对值最大的元素为主元素，保证 从而确定 ik , jk. 行变换和列交换If ik ¹

19、 k then 交换第 k 行与第ik行;If jk ¹ k then 交换第 k 列与第jk列;值得注意的是，在全主元消去过程中，列交换已改变了x各分量的顺序，因此，必须在每次列交换的同时，记录调换后未知数的排列次序. 消元 回代求解 还原未知数的排列次序2.1 全主元素Gauss消去法算法Step1消元:对k=1,2,n-1 选主元 确定 ik , jk,满足 若则停止计算，detA=0. If ik ¹ k then 交换第 k 行与第ik行;If jk ¹ k then 交换第 k 列与第jk列; 消元对i=k+1,k+2,n计算因子 ;对j=k+1,k+

20、2,n 计算;Step2回代: 若则停止计算，detA=0. 对i=n,n-1,1Step3还原排列次序: 对i=1,2,n-1x* := yi(3) 列主元素消去法在计算机上实现主元素消去法意味着进行数的比较操作，全选主元素法需要相当多的计算时间，因此常采用局部选主元素的方法.列主元素消去法依次按列选主元素，只须进行方程行 交换，不产生未知数次序的调换. 按列选主元过程 设方程组AX=b的增广矩阵为 首先在A(1)中第一列选取绝对值最大的元素为主元素，保证 从而确定 ik. 行变换If ik ¹ 1 then 交换第 1 行与第ik行;重复上述过程，设已完成第k-1次按列选主元消元

21、后，得到下列等价方程组： 在方框内的诸元素中选取绝对值最大的元素为主元素，保证: 从而确定 ik. If ik ¹ k then 交换第 k 行与第ik行;然后进行消元，如此进行，直至k=n-1为止.3.1 列主元素Gauss消去法算法Step1消元:对k=1,2,n-1 选主元 确定 ik,满足; 若则停止计算，detA=0. If ik ¹ k then 交换第 k 行与第ik行; 消元对i=k+1,k+2,n计算因子;对j=k+1,k+2,n 计算;Step2回代: 若则停止计算，detA=0. 对i=n,n-1,1(4) 例题分析:求解方程组:解之得：X*=(-0.

22、479107 -0.033089 0.355552)THW: 3.5 作业讲评33.1 设有方程组 (1) 考察用Jacobi'Method、Gauss-Seidel'Method解方程组的收敛性.(2) 用Jacobi'Method、Gauss-Seidel'Method解方程，要求当| x(k+1)-x(k)|<10-4终止. 解：(1) 由于方程组系数矩阵A=是一个严格对角占优矩阵，故用Jacobi'Method、Gauss-Seidel'Method进行迭代求解时算法均收敛.(2) 用Jacobi'Method. 据此建立迭

23、代公式：取迭代初值,其计算结果如表一.Jacobi'Method计算结果(表一)迭代次数x1x2x300001-2.450.32-4.464.252.283-4.5562.7452.4674-3.99142.62752.03475-3.857942.98481.886536-3.971233.092251.9670287-4.030313.023682.021928-4.013862.9814642.0131659-3.995222.9899541.9972110-3.995423.002591.9960311-4.000243.0031291.99986212-4.001223.00

24、00092.00098713-4.00022.99922.00024714-3.999732.9998261.999815-3.999893.0001671.99989416-4.000053.0000812.00002817-4.000042.9999742.00003318-42.9999742利用Gauss-Seidel'Method，据此建立迭代:取迭代初值,其计算结果如表二.Gauss-Seidel'Method计算结果(表二)迭代次数x1x2x300001-2.44.42.12-4.582.8052.05753-3.93352.9878751.9830634-3.9

25、91763.0105282.0015115-4.004512.9981162.0003386-3.999313.0000031.9998647-3.999973.0000752.0000178-4.000032.9999832.000002 3.2 设有方程组迭代公式为：求证由上述迭代公式产生的向量序列X(k)收敛的充要条件是证明: 显然，上述迭代格式属于Jacobi迭代格式，其迭代矩阵为X(k)=BX(k-1)+f,其中，B=，由迭代法基本定理得：. 即 3.3 用SOR方法解下列方程组(取松弛因子),要求 | x(k+1)-x(k)|<10-4,.解: SOR方法是Gauss-Sei

26、del法的一种改进(修正).Gauss-Seidel'Method 迭代格式为：，因此，SOR法的迭代式为：取迭代初值,其计算结果如表三.SOR'Method计算结果(表三)次数 x1 x2 00010.6-1.321.3221.272-0.85440.67230.85824-1.0716480.4137641.0713408-0.9642680.213100850.9642927-1.0178590.107048161.0178566-0.9910710.053563870.9910715-1.0044640.026785181.0044643-0.9977680.01339

27、2890.9977679-1.0011160.0066964101.0011161-0.9994420.0033482110.999442-1.0002790.0016741121.000279-0.999860.0008371130.9998605-1.000070.0004185141.0000698-0.9999650.0002093150.9999651-1.0000170.0001046161.0000174-0.9999915.232E-05§3.7 三角分解法1 矩阵A的LU分解: 已给n阶方阵A,若能求得一个下三角方阵L和一个上三角方阵U,使得A=LU,则我们称方阵A

28、有LU三角分解.由高斯消去法，我们知道它是通过逐步消元过程，将方程组的系数矩阵A转变为一个上三角矩阵，这实际上相当于用一系列初等矩阵左乘A.2 高斯消去法的矩阵形式:Step1:第一次消元():即相当于:记： 其中,.Step k:第k次消元(): ,其中， Step n-1:第n-1次消元():记于是可以推出.其中.由上述讨论可知，高斯消去法实质上产生了一个将系数矩阵A分解为上三角阵与下三角阵相乘的因式分解.若A的所有顺序主子式均不为0，则 A 的 LU 分解唯一（其中 L 为单位下三角阵）.设有方程组AX=b,并设A=LU,于是 AX=LUX=b其中，令UX=Y,则 LY=b.于是求解AX

29、=b的问题等价于求解两个方程组UX=Y和LY=b. 具体的解法如下：(1) 利用顺推过程解LY=b,其计算公式为: .(2) 利用回代过程解UX=Y,其计算公式为: .上述方法称为求解线性方程组的三角直接分解法.这种分解又称为Doolittle分解法.3 Doolittle分解法算法Step1分解: 对i=1,2,n; 计算U的第r行,L的第r列元素 对r=2,3,n Step2顺推过程: 求解LY=bStep3回代过程: 回代过程解UX=Y .4 算例用Doolittle分解法解方程组 解: 用Doolittle算法计算得: 解得LY=(14,18,20)T,得Y=(14,-10,-72)T

30、 UX=(14,-10,-72)T,得X=(1,2,3)T§3.8 追赶法1 三对角方程组 具有如下形式的方程组：称为三对角方程组.特点：其系数矩阵为一种带状的稀疏矩阵，非零元素集中分布在主对角线及相邻两条次对角线上，且系数矩阵为严格对角占优阵，即利用高斯消元法，经过n-1次消元后，可得等价的方程组：其中， 追的过程利用回代依次求出，于是, 赶的过程HW: 3.6 3.7 3.8（希望上机实习）§3.9 其它应用1 计算|A| 设A=(aij)n:a) det(A)=det(AT);b) 数a乘A的一行得：det=adet(A);c) A的两行互换得：det=-det(A)

31、;d) A的一行乘以a加到另一行得：det=det(A);e) A的两行成比例：det(A)=0;f) det(AB)=det(A)·det(B); 其中B=(bij)n由以上定理可知，通过高斯消元法的计算可得到行列式的值.例1 用列主元素法求det(A)的值，其中 解：由矩阵A的LU分解过程，可知，因此，若用列主元素法求行列式的值，只须将每一步的主元素相乘即可，当然要注意行列式的值的符号改变.其计算过程如下所示.1 计算A-1在某些应用中，如在统计学中，可能还需要计算矩阵A的逆，并且将它明显地表示为A-1.1.1 利用A的LU分解计算A-1设A=(aij)n为满秩矩阵，则AX=I， (1)这里I为单位矩阵，显然X为A的可逆矩阵A-1.将方程(1)改写为AX(1),X(2),X(n)=I(1),I(2),I(n) (2)