数值分析第五章 矩阵分析基础1

1、第五章第五章5.1 5.1 向量和矩阵的范数向量和矩阵的范数 1 1向量范数向量范数定义定义1 1：设设X R n， 表示定义在表示定义在Rn上的一个实值函数上的一个实值函数，称之为称之为X的范数的范数，它具有下列性质它具有下列性质：XaaX（3）三角不等式三角不等式：即对任意两个向量即对任意两个向量X、Y R n，恒有恒有 YXYX(1) (1) 非负性非负性：即对一切即对一切X R n，X 0, 0(2) (2) 齐次性齐次性：即对任何实数即对任何实数a R，X R n， 设设X = (x1, x2, xn)T，则有则有nxxxX211（1）222212nTxxxXXX（2）inixX1m

2、ax（3）三个常用的向量范数：三个常用的向量范数：范数等价范数等价: : 设设A A 和和B B是是R R上任意两种范数，若存在上任意两种范数，若存在 常数常数 C C1 1、C C2 2 0 0 使得使得 , , 则称则称 A A 和和B B 等价等价。定理定理1：定义在定义在Rn上的向量范数上的向量范数 是变量是变量X分量的分量的 一致连续函数一致连续函数。 X()Xf X定理定理2 2：在在Rn上定义的任一向量范数上定义的任一向量范数 都与范数都与范数 等价等价， 即存在正数即存在正数 M 与与 m ( Mm ) 对一切对一切X Rn，不等式不等式X1X11XMXXm成立成立。推论推论：

3、Rn上定义的任何两个范数都是等价的。上定义的任何两个范数都是等价的。 111XXXnXnXX1XnXX2对常用范数，容易验证下列不等式：对常用范数，容易验证下列不等式： 定义定义2：设给定设给定Rn中的向量序列中的向量序列 ，即即kX01, , , kXXX其中其中TknkkkxxxX)()(2)(1,若对任何若对任何i (i = 1, 2, n )都有都有*)(limikikxx则向量则向量 TnxxX),(*1*limXXkk称为向量序列称为向量序列 的极限的极限，或者说向量序列或者说向量序列 依坐标收敛于向量依坐标收敛于向量 ，记为记为kXkX*X定理定理3：向量序列向量序列Xk依坐标收

4、敛于依坐标收敛于X*的充要条件是的充要条件是0lim*XXkk向量序列依范数收敛与依坐标收敛是等价的。向量序列依范数收敛与依坐标收敛是等价的。2、矩阵范数、矩阵范数定义定义3 3 设对任意矩阵设对任意矩阵 ARARn nm m，按一定的规则有一实数，按一定的规则有一实数与之对应，记为与之对应，记为AA，若，若AA满足满足)(00; 0)1正正定定性性；时时才才有有当当且且仅仅当当 AAA)( ;,|)2齐齐次次性性RcAccA )( ,)3三角不等式三角不等式BABA 则称则称AA为矩阵为矩阵A A的的范数范数。)(,)4相相容容性性BAAB 11, supsupmaxvvnn nvvvvvy

5、xyvxRARxAxAAyAyx设是向量范数(v=1,2,或 ),称矩阵的非负函数=为矩阵A的算子范数.定义定义4 4 （矩阵的算子范数）（矩阵的算子范数）1 10.0,max0. 00 0 . xAAAAxAAxAxA）显然若则反之，若11111 2 max ()max max()maxmax .xxxxxnABABAB xAxBxAxBxAxBxAB）对任意两个 阶方阵 和 ， 由算子范数的定义，可由向量范数诱导出矩阵范数：正定性正定性三角不等式三角不等式1111 3 . max ()max() maxmax xxxxnxAxAAxAxxABAB xA BxABxABxAB）对任意 维非零

6、向量 ,有 即 故有 nvvvvvRAAxAxn n设是中的向量范数，则为R上的矩阵且满足定范数理矩阵范数与向量范矩阵范数与向量范数的相容性数的相容性相容性相容性例例5:5:设设A A(a(aijij)M. )M. 定义定义2,11|nijijAan证明证明：这样定义的非负实数不是相容的矩阵范数这样定义的非负实数不是相容的矩阵范数. .证明：设1111,1111AB2222AB| 1,| 1,| 2ABAB从而| | |ABAB定理定理4：设设n 阶方阵阶方阵A = (aij)n n，则，则（）与）与 相容的矩阵范数是相容的矩阵范数是1xniijjaA11max（）与）与 相容的矩阵范数是相容

7、的矩阵范数是2x12A其中其中 1为矩阵为矩阵ATA的最大特征值。的最大特征值。（）与）与 相容的矩阵范数是相容的矩阵范数是xnjijiaA1max上述三种范数分别称为矩阵的上述三种范数分别称为矩阵的1-1-范数、范数、2-2-范数和范数和-范数。范数。可以证明可以证明, 对方阵对方阵 和和 ，有，有nnRAnx R22| | | | |FAxAx ninjijFaA112| ( (向量向量| | |2 2的直接推广的直接推广) )FrobeniusFrobenius范数范数: :|()TFAtr A A注：注：（1 1）（2 2） 矩阵的矩阵的FrobeniusFrobenius范数不是算子

8、范数。范数不是算子范数。3矩阵矩阵的范数与特征值之间的关系的范数与特征值之间的关系定理定理5：矩阵矩阵A 的谱半径不超过的谱半径不超过A的任一相容矩阵范数，即的任一相容矩阵范数，即 定义定义4：矩阵矩阵A 的诸特征值的最大绝对值称为的诸特征值的最大绝对值称为A的谱半径，的谱半径，1( )maxii nA 记为：记为：( )AA21max(ii nA 谱范数）并且如果并且如果A A为对称矩阵，则为对称矩阵，则 注注: :R Rn nn n中的任意两个矩阵范数也是等价的。中的任意两个矩阵范数也是等价的。定义定义5 5： 设设| | | |为为R Rn nn n上的矩阵范数，上的矩阵范数，A,BA,

9、BR Rn nn n称称 |A-B|A-B|为为A A与与B B之间的距离之间的距离。定义定义6 6：设给定设给定R Rn nn n中的矩阵序列中的矩阵序列 ，若，若lim0kkAA则称矩阵序列则称矩阵序列 收敛于矩阵收敛于矩阵A A，记为，记为limkkAAkAkA定理定理6 6 设设BRBRn nn n，则由，则由B B的各幂次得到的的各幂次得到的 矩阵序列矩阵序列B Bk k, k=0,1,2)k=0,1,2)收敛于零矩阵收敛于零矩阵 （ ）的充要条件）的充要条件 为为 。 ()1Blim0kkB 4. 矩阵的条件数矩阵的条件数定义定义5 设矩阵设矩阵 A为非奇异矩阵，则称为非奇异矩阵，

10、则称 1()condAAA为矩阵为矩阵 A的的条件数条件数，其中其中 是矩阵的算子范数。是矩阵的算子范数。 对矩阵对矩阵 的任意一个算子范数的任意一个算子范数11(1)()1condAAAAAIA有有(2) (2) cond ( kA )= cond ( A ) , k 为非零常数为非零常数; ;(3)(3)若若 ， 则则1A1)(cond AA注注: : condcond ( (A A) ) 与与 所取的范数有关所取的范数有关常用条件数有：常用条件数有：cond (A)2)(/ )(minmaxAAAATT特别地，若特别地，若 A 对称，则对称，则2max | ( )min |iicondA

11、cond (A)1=A1 11Acond (A) =A 1A 5.2 初等矩阵初等矩阵 初等矩阵对线性方程组的研究起着重要的作用，本节介绍初等矩阵对线性方程组的研究起着重要的作用，本节介绍一般形式的初等矩阵，它是矩阵计算的基本工具。一般形式的初等矩阵，它是矩阵计算的基本工具。5.2.1 初等矩阵初等矩阵定义定义6 设向量设向量 ,nRRu v，则形如，则形如 ( , ;)TEIu vuvI的矩阵叫做的矩阵叫做实初等矩阵实初等矩阵，其中，其中 是是 n阶单位矩阵阶单位矩阵，向量向量 ive1，为为初等下三角阵。初等下三角阵。1,11( )( ,;1)11TiiiiiiiiinillLLEIll

12、el e定理定理5.2.1 初等下三角阵初等下三角阵 iL具有如下性质具有如下性质： (1) ；1( )(),1iiiiillLLL 5.2.2 初等下三角矩阵初等下三角矩阵定义定义7 令向量令向量 1,(0,0,)Tiiinillul则称矩阵则称矩阵 211122111211( )( )()1nnnnlllLLLLlll(3) 任何一个单位下三角阵任何一个单位下三角阵 nRL都可分裂成都可分裂成 1 12211TTTnnLIl el ele因此，对任一非奇异下三角阵因此，对任一非奇异下三角阵 L，都可分裂成一个非奇异都可分裂成一个非奇异对角阵和若干个下三角阵的乘积。对角阵和若干个下三角阵的乘

13、积。 (4) iL左乘矩阵左乘矩阵 A的结果是从的结果是从 A的各行中减去第的各行中减去第 i行乘一个因子。行乘一个因子。 初等下三角阵在矩阵的满秩分解、三角分解以及解线初等下三角阵在矩阵的满秩分解、三角分解以及解线性代数方程组的直接解法中起着重要的作用。性代数方程组的直接解法中起着重要的作用。(2)为单位下三角阵为单位下三角阵 ；5.2.3 Householder矩阵矩阵定义定义8 设向量设向量 nR ，且且 21 ，称形如称形如 ( )( ,;2)2T 为为Householder矩阵矩阵，或称，或称Householder变换、反射矩阵变换、反射矩阵。要得到要得到Householder矩阵，

14、只要在初等矩阵矩阵，只要在初等矩阵 ( , ;) u v中中，定理定理5.2.2 Householder矩阵矩阵 H具有以下性质：具有以下性质： (1) 矩阵矩阵 H是对称阵，即是对称阵，即 ； T(2) 矩阵矩阵 H是正交矩阵，即是正交矩阵，即 ;T (3) H变换保持向量长度不变，即对任意向量变换保持向量长度不变，即对任意向量 nRv22Hvv，;uv 2，即可。即可。 取向量取向量SvS(4) 设设 为以为以 u为法向量过原点的超平面，对任意的非零为法向量过原点的超平面，对任意的非零向量向量 nRv，有有 Hv与与 关于超平面关于超平面 对称。对称。 定理定理5.2.3 对任意的非零向量

15、对任意的非零向量 nRv，可以适当选择合适的可以适当选择合适的向量向量nRu，满足满足 21u，用其构造的用其构造的 H矩阵可将矩阵可将 v变换为单位向量变换为单位向量 1,0,0TnRe的常数倍，使得的常数倍，使得 cHvec其中，其中， 是实数，并且是实数，并且 |Tc v v定义定义9 将将 n阶单位阵阶单位阵 nI改变第改变第 , i j行和第行和第 , i j列的四个列的四个元素得到矩阵元素得到矩阵 11cossin1( , , )1sincos11 ii jjijJ5.2.4 Givens旋转矩阵旋转矩阵称为称为Givens旋转矩阵旋转矩阵，或称，或称Givens变换，变换， 为旋

16、转角为旋转角。 是一个正交矩阵，对任意向量是一个正交矩阵，对任意向量 nRx，由线性变换由线性变换 12,TnyyyJyx，其中，其中， , ,kkyxki j ，可得可得 cossinsincosiijjjyxxxx 5.2.5 Hessenberg矩阵矩阵定义定义10 若实矩阵若实矩阵 n nRA的次对角线以下元素均为零，即的次对角线以下元素均为零，即 1ij时，时， 0ija ，称形如，称形如 11121112122212323331nnnnnnnnnhhhhhhhhhhhhhH( , , )i jJ的矩阵的矩阵 H为为上上Hessenberg（海森伯格）阵（海森伯格）阵，或拟上三角阵。

17、或拟上三角阵。如果次对角线元素如果次对角线元素 ,1(2,3, )i ihin全不为零，则称该矩阵为全不为零，则称该矩阵为不可约的上不可约的上Hessenberg阵阵。 定理定理5.2.4 对任意矩阵对任意矩阵 n nRA，总存在正交阵总存在正交阵 Q使得使得 1Q AQ为上为上Hessenberg阵。阵。 5.2.6 对角占优阵对角占优阵定义定义11 设矩阵设矩阵 n nRA，若存在一个排列阵若存在一个排列阵 P，使得使得 111222AAP AP0AT否则称矩阵否则称矩阵 A是不可约的不可约的。 其中其中 () ()11, 11r rn rn rRRrn22AA，则称矩阵则称矩阵 A是可约

18、的，是可约的，定义定义12 设矩阵设矩阵 n nRA，若，若 1, (1,2, )niiijjj iaain且至少有一个不等式严格成立，则称矩阵且至少有一个不等式严格成立，则称矩阵 A为弱对角占优阵弱对角占优阵，1, (1, 2,)niiijjjiaain对所有不等式严格成立，则称矩阵对所有不等式严格成立，则称矩阵 A为为严格对角占优阵严格对角占优阵。 定理定理5.2.5 （对角优势定理）（对角优势定理） 若矩阵若矩阵 A为严格对角占优阵为严格对角占优阵，或者为不可约且弱对角占优阵，则或者为不可约且弱对角占优阵，则 det()0A若若历史与注记历史与注记 阿尔斯通阿尔斯通豪斯霍德豪斯霍德(Al

19、ston Scott Householder，19041993 )Householder 1904 年生于美国伊利诺州的洛克福特。年生于美国伊利诺州的洛克福特。1937 年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的资助，在芝加哥大学从事研究，资助，在芝加哥大学从事研究， 1944年被提升为数学和生物年被提升为数学和生物物理学的副教授。二战后他为美国海军研究实验室作数学顾物理学的副教授。二战后他为美国海军研究实验室作数学顾问，他的研究兴趣转向数值计算，不久，他又转移到位于问，他的研究兴趣转向数值计算，不久，他又转移到位于Oak Ridg

20、e，Tennessee 的著名的国家实验室，从事与原子能和武器有关的并行计算的研究。的著名的国家实验室，从事与原子能和武器有关的并行计算的研究。他于他于19541956年间出任年间出任ACM的主席，的主席，19631964年又出任工业与应用年又出任工业与应用数学学会数学学会SIAM的主席。豪斯霍德的主席。豪斯霍德1969年获年获Harry Goode奖，他是美国艺术奖，他是美国艺术和科学院院士。和科学院院士。1980 年获得计算机先驱奖。年获得计算机先驱奖。 Householder 的主要贡献在数据处理技术方面，他的研究领域主要是数的主要贡献在数据处理技术方面，他的研究领域主要是数值分析、数值代数、生物数学，尤其是计算机在生物医学和生理学方面的应值分析、数值代数、生物