数值分析矩阵分析基础PPT学习教案

1、会计学1 数值分析矩阵分析基础数值分析矩阵分析基础 设设X = (x1, x2, xn)T，则有则有 n xxxX 21 1 （1） 22 2 2 1 2 n T xxxXXX（2） i ni xX 1 max（3） 三个常用的向量范数：三个常用的向量范数： 范数等价范数等价: : 设设A A 和 和B B是是R R上任意两种范数，若存在上任意两种范数，若存在 常数常数 C C1 1、C C2 2 0 0 使得使得 , , 则称则称 A A 和 和B B 等价等价。 第1页/共29页 定理定理1：定义在定义在Rn上的向量范数上的向量范数 是变量是变量X分量的分量的 一致连续函数一致连续函数。

2、X ()Xf X 定理定理2 2：在在Rn上定义的任一向量范数上定义的任一向量范数 都与范数都与范数 等价等价， 即存在正数即存在正数 M 与与 m ( Mm ) 对一切对一切X Rn，不等式不等式 X 1 X 11 XMXXm 成立成立。 推论推论：Rn上定义的任何两个范数都是等价的。上定义的任何两个范数都是等价的。 第2页/共29页 11 1 XXX n XnXX 1 XnXX 2 对常用范数，容易验证下列不等式：对常用范数，容易验证下列不等式： 第3页/共29页 定义定义2：设给定设给定Rn中的向量序列中的向量序列 ，即即 k X 01 , , , k XXX 其中其中 T k n kk

3、 k xxxX )()( 2 )( 1 , 若对任何若对任何i (i = 1, 2, n )都有都有 *)( lim i k i k xx 则向量则向量 T n xxX),( * 1 * * limXX k k 称为向量序列称为向量序列 的极限的极限，或者说向量序列或者说向量序列 依坐标收敛于向量依坐标收敛于向量 ，记为记为 k X k X * X 第4页/共29页 定理定理3：向量序列向量序列Xk依坐标收敛于依坐标收敛于X*的充要条件是的充要条件是 0lim * XX k k 向量序列依范数收敛与依坐标收敛是等价的。向量序列依范数收敛与依坐标收敛是等价的。 第5页/共29页 2、矩阵范数、矩

4、阵范数 定义定义3 3 设对任意矩阵设对任意矩阵 ARARn n m m，按一定的规则有一实数 ，按一定的规则有一实数 与之对应，记为与之对应，记为AA，若，若AA满足满足 )(00; 0)1正正定定性性；时时才才有有当当且且仅仅当当 AAA )( ;,|)2齐齐次次性性RcAccA )( ,)3三角不等式三角不等式BABA 则称则称AA为矩阵为矩阵A A的的范数范数。 )(,)4相相容容性性BAAB 第6页/共29页 1 1 , supsupmax v v nn n v v vvv y xy v xRARx Ax AAyAy x 设是向量范数(v=1,2,或 ), 称矩阵的非负函数 = 为矩

5、阵A的算子范数. 定义定义4 4 （矩阵的算子范数）（矩阵的算子范数） 第7页/共29页 1 10.0,max0. 00 0 . x AAAAx AAxAx A ）显然若则 反之，若 11 111 2 max ()max max()maxmax . xx xxx nAB ABAB xAxBx AxBxAxBx AB ）对任意两个 阶方阵 和 ， 由算子范数的定义，可由向量范数诱导出矩阵范数： 正定正定 性性 三角不等式三角不等式 第8页/共29页 11 11 3 . max ()max() maxmax xx xx nx Ax AAxAx x ABAB xA Bx ABxABx AB ）对任意

6、 维非零向量 , 有 即 故有 n vv vvv RA AxAx n n 设是中的向量范数，则为R上的矩阵 且满足 定 范数 理 矩阵范数与向量矩阵范数与向量 范数的相容性范数的相容性 相容性相容性 第9页/共29页 2 ,1 1 | n ij ij Aa n 证明证明：这样定义的非负实数不是相容的矩阵范数这样定义的非负实数不是相容的矩阵范数. . 证明：设 1111 , 1111 AB 22 22 AB | 1,| 1,| 2ABAB 从而 | | |ABAB 第10页/共29页 定理定理4：设设n 阶方阵阶方阵A = (aij)n n，则，则 （）与）与 相容的矩阵范数是相容的矩阵范数是

7、1 x n i ij j aA 1 1 max （）与）与 相容的矩阵范数是相容的矩阵范数是 2 x 1 2 A 其中其中 1为矩阵为矩阵ATA的最大特征值。的最大特征值。 （）与）与 相容的矩阵范数是相容的矩阵范数是 x n j ij i aA 1 max 上述三种范数分别称为矩阵的上述三种范数分别称为矩阵的1-1-范数、范数、2-2-范数和范数和- -范数。范数。 第11页/共29页 可以证明可以证明, 对方阵对方阵 和和 ， 有有 nn RA n x R 22 | | | | | F AxAx n i n j ijF aA 11 2 | ( (向量向量| | | |2 2的直接推广的直接

8、推广) )FrobeniusFrobenius范数范数: : |() T F Atr A A注：注：（1 1） （2 2） 矩阵的矩阵的FrobeniusFrobenius范数不是算子范数。范数不是算子范数。 第12页/共29页 3矩阵矩阵的范数与特征值之间的关系的范数与特征值之间的关系 定理定理5：矩阵矩阵A 的谱半径不超过的谱半径不超过A的任一相容矩阵范数，的任一相容矩阵范数， 即即 定义定义4：矩阵矩阵A 的诸特征值的最大绝对值称为的诸特征值的最大绝对值称为A的谱半径，的谱半径， 1 ( )max i i n A 记为：记为： ( )AA 2 1 max( i i n A 谱范数） 并且

9、如果并且如果A A为对称矩阵，则为对称矩阵，则 第13页/共29页 注注: :R Rn n n n中的任意两个矩阵范数也是等价的。 中的任意两个矩阵范数也是等价的。 定义定义5 5： 设设| | | |为为R Rn n n n上的矩阵范数， 上的矩阵范数，A,BA,BR Rn n n n 称称 |A-B|A-B|为为A A与与B B之间的距离之间的距离。 定义定义6 6：设给定设给定R Rn n n n中的矩阵序列 中的矩阵序列 ，若 ，若 lim0 k k AA 则称矩阵序列则称矩阵序列 收敛于矩阵收敛于矩阵A A，记为，记为 lim k k AA k A k A 第14页/共29页 定理定

10、理6 6 设设BRBRn n n n，则由 ，则由B B的各幂次得到的的各幂次得到的 矩阵序列矩阵序列B Bk k, k=0,1,2k=0,1,2) )收敛于零矩阵收敛于零矩阵 （ ）的充要条件）的充要条件 为为 。 ()1B lim0 k k B 第15页/共29页 4. 矩阵的条件矩阵的条件 数数 定义定义5 设矩阵设矩阵 A为非奇异矩阵，则称为非奇异矩阵，则称 1 ()cond AAA 为矩阵为矩阵 A的的条件数条件数，其中其中 是矩阵的算子范数。是矩阵的算子范数。 对矩阵对矩阵 的任意一个算子范数的任意一个算子范数 11 (1)()1cond AAAAAI A有有 (2) (2) co

11、nd ( kA )= cond ( A ) , k 为非零常数为非零常数; ; (3)(3)若若 ， 则则1A 1 )(cond AA 第16页/共29页 注注: : condcond ( (A A) ) 与与 所取的范数有关所取的范数有关 常用条件数有：常用条件数有： cond (A)2)(/ )( minmax AAAA TT 特别地，若特别地，若 A 对称，则对称，则 2 max | ( ) min | i i condA cond (A)1 =A1 1 1 A cond (A) =A 1 A 第17页/共29页 5.2 初等矩阵初等矩阵 初等矩阵对线性方程组的研究起着重要的作用，本节介

12、绍初等矩阵对线性方程组的研究起着重要的作用，本节介绍 一般形式的初等矩阵，它是矩阵计算的基本工具。一般形式的初等矩阵，它是矩阵计算的基本工具。 5.2.1 初等矩阵初等矩阵 定义定义6 设向量设向量 , n RRu v，则形如，则形如 ( , ; ) T EIu vuv I的矩阵叫做的矩阵叫做实初等矩阵实初等矩阵，其中，其中 是是 n阶单位矩阵 阶单位矩阵， 第18页/共29页 向量向量 i ve1， 为为初等下三角阵。初等下三角阵。 1, 1 1 ( )( ,;1) 1 1 T iiiiiii ii ni l l LLEI ll el e 定理定理5.2.1 初等下三角阵初等下三角阵 i L

13、具有如下性质具有如下性质： (1) ； 1( ) (),1 iiiii ll LLL 5.2.2 初等下三角矩阵初等下三角矩阵 定义定义7 令向量令向量 1, (0,0,)T iiini ll ul 则称矩阵则称矩阵 第19页/共29页 21 112211 12 1 1 ( )( )() 1 nn nn l ll LLLL lll (3) 任何一个单位下三角阵任何一个单位下三角阵 n RL都可分裂成都可分裂成 1 12211 TTT nn LIl el ele 因此，对任一非奇异下三角阵因此，对任一非奇异下三角阵 L，都可分裂成一个非奇异都可分裂成一个非奇异 对角阵和若干个下三角阵的乘积。对角

14、阵和若干个下三角阵的乘积。 (4) i L左乘矩阵左乘矩阵 A的结果是从的结果是从 A的各行中减去第的各行中减去第 i行乘一个因子。行乘一个因子。 初等下三角阵在矩阵的满秩分解、三角分解以及解线初等下三角阵在矩阵的满秩分解、三角分解以及解线 性代数方程组的直接解法中起着重要的作用。性代数方程组的直接解法中起着重要的作用。 ( 2 ) 为单位下三角阵为单位下三角阵 ； 第20页/共29页 5.2.3 Householder矩阵矩阵 定义定义8 设向量设向量 n R ，且且 2 1 ，称形如称形如 ( )( ,;2)2 T 为为Householder矩阵矩阵，或称，或称Householder变换、

15、反射矩阵变换、反射矩阵 。 要得到要得到Householder矩阵，只要在初等矩阵矩阵，只要在初等矩阵 ( , ;) u v 中中， 定理定理5.2.2 Householder矩阵矩阵 H具有以下性质：具有以下性质： (1) 矩阵矩阵 H是对称阵，即是对称阵，即 ； T (2) 矩阵矩阵 H是正交矩阵，即是正交矩阵，即 ; T (3) H变换保持向量长度不变，即对任意向量变换保持向量长度不变，即对任意向量 n Rv 22 Hvv ，; uv 2，即可。即可。 取向量取向量 第21页/共29页 Sv S(4) 设设 为以为以 u为法向量过原点的超平面，对任意的非零为法向量过原点的超平面，对任意的

16、非零 向量向量 n Rv，有有 Hv与与 关于超平面关于超平面 对称。对称。 定理定理5.2.3 对任意的非零向量对任意的非零向量 n Rv，可以适当选择合适的可以适当选择合适的 向量向量 n Ru ，满足满足 2 1u ，用其构造的用其构造的 H矩阵可将矩阵可将 v 变换为单位向量变换为单位向量 1,0,0 T n Re的常数倍，使得的常数倍，使得 cHve c 其中，其中， 是实数，并且是实数，并且 | T c v v 第22页/共29页 定义定义9 将将 n阶单位阵阶单位阵 n I改变第改变第 , i j行和第行和第 , i j列的四个列的四个 元素得到矩阵元素得到矩阵 1 1 coss

17、in 1 ( , , ) 1 sincos 1 1 i i j j ij J 5.2.4 Givens旋转矩阵旋转矩阵 称为称为Givens旋转矩阵旋转矩阵，或称，或称Givens变换，变换， 为旋转角为旋转角。 第23页/共29页 是一个正交矩阵，对任意向量是一个正交矩阵，对任意向量 n Rx，由线性变换由线性变换 12 , T n yyyJyx ， 其中，其中， , , kk yxki j ，可得 可得 cossinsincos iijjj yxxxx 5.2.5 Hessenberg矩阵矩阵 定义定义10 若实矩阵若实矩阵 n n R A 的次对角线以下元素均为零，即的次对角线以下元素均

18、为零，即 1ij时，时， 0 ij a ，称形如，称形如 1112111 2122212 32333 1 nn nn n nnnn hhhh hhhh hhh hh H ( , , )i jJ 第24页/共29页 的矩阵的矩阵 H 为为上上Hessenberg（海森伯格）阵（海森伯格）阵，或拟上三角阵或拟上三角阵 。 如果次对角线元素如果次对角线元素 , 1( 2,3, ) i i hin 全不为零，则称该矩阵为全不为零，则称该矩阵为 不可约的上不可约的上Hessenberg阵阵。 定理定理5.2.4 对任意矩阵对任意矩阵 n n R A，总存在正交阵总存在正交阵 Q使得使得 1 Q AQ 为

19、上为上Hessenberg阵。阵。 5.2.6 对角占优阵对角占优阵 定义定义11 设矩阵设矩阵 n n R A，若存在一个排列阵若存在一个排列阵 P，使得使得 1112 22 AA P AP 0A T 否则称矩阵否则称矩阵 A是不可约的不可约的。 其中其中 () () 11 , 11 r rn rn r RRrn 22 AA ，则称矩阵则称矩阵 A是可约的，是可约的， 第25页/共29页 定义定义12 设矩阵设矩阵 n n R A，若，若 1 , (1,2, ) n iiij j j i aain 且至少有一个不等式严格成立，则称矩阵且至少有一个不等式严格成立，则称矩阵 A为弱对角占优阵 弱

20、对角占优阵， 1 , (1, 2,) n iiij j ji aain 对所有不等式严格成立，则称矩阵对所有不等式严格成立，则称矩阵 A为 为严格对角占优阵严格对角占优阵。 定理定理5.2.5 （对角优势定理）（对角优势定理） 若矩阵若矩阵 A为严格对角占优阵为严格对角占优阵， 或者为不可约且弱对角占优阵，则或者为不可约且弱对角占优阵，则 det()0A 若若 第26页/共29页 历史与注记历史与注记 阿尔斯通阿尔斯通豪斯霍德豪斯霍德(Alston Scott Householder，19041993 )Householder 1904 年生于美国伊利诺州的洛克福特。年生于美国伊利诺州的洛克福

21、特。1937 年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的年取得了芝加哥大学博士学位之后他获得洛克菲勒基金会的 资助，在芝加哥大学从事研究，资助，在芝加哥大学从事研究， 1944年被提升为数学和生物年被提升为数学和生物 物理学的副教授。二战后他为美国海军研究实验室作数学顾物理学的副教授。二战后他为美国海军研究实验室作数学顾 问，他的研究兴趣转向数值计算，不久，他又转移到位于问，他的研究兴趣转向数值计算，不久，他又转移到位于Oak Ridge，Ten nessee 的著名的国家实验室，从事与原子能和武器有关的并行计算的研究。的著名的国家实验室，从事与原子能和武器有关的并行计算的研究。 他于他于19541956年间出任年间出任ACM的主席，的主席，19631964年又出任工业与应用年又出任工业与应用 数学学会数学学会SIAM的主席。豪斯霍德的主席。豪斯霍德1969年获年获Harry Goode奖，他是美国艺术奖，他是美国艺术 和科学院院士。和科学院院士。1980 年获得计算机先驱奖。年获得计算机先驱奖。 Householder 的主要贡献在数据处理技术方面，他的研究领域主要是数的主要贡献在数据处理技术方面，他的研究领域主要是数 值分析、数值代数、生物数学，尤其是计算机在