矩阵范数详解

1、周国标师生交流讲席 010向量和矩阵的范数的若干难点导引 （ 二）矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要 “测量”矩阵的 “大 小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数， 是把矩阵 A Cm n可以视为一个 mn维的向量（采用所谓 “拉直”的变换） ，所以，直观上可用1Htr(AH A) 2C mn上的向量范数来作为 A Cm n的矩阵范数。比如mn在 l1 范数意义下， | A |1|aij |i 1 j 11 m n 2 在 l2 -范数意义下， | A|F| aij |2i1j1注意这里为了避免

2、与以后的记号混淆， 下标用“ F”，这样一个矩阵范数， 称为 Frobenius 范数，或 F-范数。可以验证它们都满足向量范数的3 个条件。那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起 来，矩阵之间有乘法运算， 它在定义范数时应予以体现， 也即估计 AB的“大小”相对于 A与 B 的“大小”关系。定义 1 设 A Cm n ，对每一个 A，如果对应着一个实函数 N（A） ，记为 | A|，它满 足以下条件：（1）非负性： | A| 0；（1a）正定性： A Om n| A| 0（2）齐次性： | A| | | A|, C ；（3）三角不等式： |A|A B| |

3、A| | B |, B Cm n则称 N（A） |A|为 A的广义矩阵范数。进一步，若对Cm n,Cn l,Cm l 上的同类广义矩阵范数 |? |，有（4）（矩阵相乘的）相容性： |A|AB| | A | B |， B Cn l， 则称 N（A） | A|为 A的矩阵范数。, 把较我们现在来验证前面（）和（）定义的矩阵范数是否合法？我们这里只考虑（）容易的（）的验证留给同学们，三角不等式的验证。按列分块，记A(a1,a2,L ,an ), B (b1,b2,L ,bn)。|a1 |22 对上式中第2|A B |2F |(a12|a1 b1 |2 | a2| a1 |2 |b1 |2 2 L|

4、anL |an |22b1),(a2b2 |22b2),|22 ,(an bn) |2F |an bn |22 |bn |2 22 个括号内的诸项，应用2 |a1 |2|b1 |2Cauchy 不等式，则有|an |2|bn |2 |b1 |22 L|bn |222| A B|2F2| A |2F 2| A |F| B |F2| B |2F2(| A|F |B|F)2于是，两边开方，即得三角不等式。再验证矩阵乘法相容性。ml| AB |2Fi1 j 1mlnaik bkj1n| aikk1ml1j1nn| aik k12|bki |这一步用了 Cauchy 不等式）i1n| aik |2k1s

5、1l|bsj |2 | A |2F | B |2F j1数在下面一个例子上就行不通。设 A11 , A22 2A 。因此，按上述矩阵2-范数的定义， |A| 1, |A |A|1,| A2|2，于是可见，矩阵相容性满足。这样就完成了对矩阵 F- 范数的验证。是不是这样直接将向量范数运用到矩阵范数就可以了吗？ No!max| aij |，那么 ,这样的矩阵范1im1jn运用 l - 范数于矩阵范数时便出了问题。如果 |A|22 |A2| |A A| |A| |A| 1 但这是矛盾的。所以 简单地将 l - 范数运用于矩阵范数，是不可行的 。由此，我们必须认识到，虽然这仅是一个反例，但是数学的定义

6、是不可以有例外的。 的，还需要研究如何构成具体的矩阵范数的方法。 当然， 你也可以不去考虑构成方法， 一个 函数一个函数去试，只要满足条件就行。不过这样做的工作量太大，也很盲目。不能随便套用向量范数的形式来构造矩阵范数。为此 , 我们仅给出矩阵范数的定义是不够第二， 在实际计算时， 往往矩阵与向量出现在同一个计算问题中， 所以在考虑构造矩阵 范数时，应该使它与向量范数相容。比如要考虑Ax的“大小”， Ax 是一个向量，但它由 A与 x相乘而得的，它与 A的“大小”和 x 的“大小”的关系如何？ 这提出了两类范数相容 的概念。定义 2 对于Cm n上的矩阵范数 | ? |M和C m , C n上

7、的同类向量范数 |?|V ，如果成立 | Ax |V | A |M |x|V,A Cm n, x Cn （）则称矩阵范数 | ? |M 与向量范数 | ? |V 是相容的。1m n 2 1例 11 可以证明| A|F|aij |2tr（ AH A） 2 是与向量范数 |?|2 相容。i 1 j1事实上，在（ 1。2）中，取 B x Cn 1 ，那么| Ax |2 | AB |F | A |F | B |F |A|F|x|2矩阵算子范数现在给出一种构造矩阵范数的一般方法，它可以使构造出的矩阵范数与向量范数相容， 当然，它也满足定义 1 规定的 4 个条件。定义3 设C m,C n上的同类向量范数

8、为 |?|V ，A Cm n ，定义在 Cm n空间上的矩阵 A 的由向量范数 |?|V 诱导给出的矩阵范数为| A|Vmaxx0|Ax|V| x |V可以验证， 这样定义出的矩阵范数 | A |V 满足定义 1规定的 4个条件，同时又满足矩阵范数 与向量范数相容性要求 （定义 2）。由于有什么样的向量范数 | ?|V ，就有什么样的矩阵范数， 所以，这样的矩阵范数称为由向量范数诱导出的，简称 诱导范数 ；又因为（）实际上规定了 一个函数（或算子） ，故又称为 算子范数 。|x |V（）给定的范数实际是寻求一个最优化问题的最优值，求目标函数|Ax|V 的最大值，n |Ax| 约束条件是 x 0

9、，也就在 C n空间中除原点外的点中， 找一个 n 维向量 x，使 V 取得 | x |V最大值。如果直接考虑这样一个优化问题 , 还是有困难的 . 可以证明， 它可以下列等价方式 定义 , 使问题的处理简单。| A |Vmaxx0|Ax|V| x |Vmax | Ax |V |x|V 1 | x |V|m|x|Vax1 | Ax |V事实上, 分母上的 | x |V是一个正数 （ x0）, 那么根据向量范数的齐次性有maxx0| Ax |V| x |Vmax 1 Axx 0 | x |VVmax Ax0x|x |V|m|z|Vax1 Az V|m|x|Vax1Ax面第 3 个等号成立是因为向

10、量| x |V 为一个单位向量。下面我们从理论上证明这样的矩阵范数| A |V 满足定义 1规定的 4个条件，同时又满足矩阵范数与向量范数相容性要求。定理 2。1 由（）或（）给定的 Cm n 上的矩阵范数满足矩阵范数定义 1 的 4 个条件， 且与相应的向量范数相容。证明： 首先，矩阵范数与向量范数的相容性是不难证明的，事实上，对| x |V =1,| A |V | x |V | A|V max | Az|V | Ax |V , 因此,矩阵范数与向量范数的相容性条件（） |z|V 1成立。我们下面来验证（）或（）满足矩阵范数的 4 个条件。这 4 个条件中，前 2 个也容易验 证，因此这里只

11、来考察第 3,4 个条件。三角不等式的验证 : 对于任一 B C m n|A B| max |（A B）x| max | Ax Bx| max |A| |B|x| 1 |x| 1 |x| 1max | Ax | max | Bx | |A| |B|x| 1 |x| 1矩阵相乘相容性的验证 : 由（），不难有| ABx |V | A |V | Bx |V | A |V | B |V | x |V当x0时， | ABx |V| x |V|A|V | B |V|I | m|x|a| 1x | Ix | 1(2。3)但是要注意的是，对一般的矩阵范数，对任一向量Cn ，有所以|AB |V mxa0x|A

12、|xB|x|V|V |A|V|B|V至此，证实了用 算子范数确能给出满足矩阵范数定义和矩阵范数与向量范数的相容性 的矩阵范数。推论 1 对于 Cn n 上的任一种向量诱导范数，都有1。|x| | Ix | |I | x | 故有 |I | 1。比如， | A |F 不是诱导矩阵范数，所以|I |F三几个常用的诱导矩阵范数面的论述表明， 诱导矩阵范数与向量范数密切相关，有何种向量范数， 就有什么样的诱导矩阵范数。下面就来具体地构造几个常用的诱导矩阵范数。设A Cm n。例 31 设 A Cm n ，由向量 l1 -范数诱导而来的最大列和诱导矩阵范数m| A |1 m1 aj xn |aij |1

13、jni1证明 ：按列分块，记 A(a1,a2,L ,an) ，则由() 和向量 l1- 范数的定义可知| A|1设 x (x1,x2,L ,xn)nm1 jaxn |aj |1 Cn，且有 | x |1因此,| Ax |1naij xjj1| A |1i1 n|aij |xj | j1n|xj|j1m|aij |i1maj x |aij |xj |j j 1max |aij |m|x|1ax1|Ax|1 maj xm|aij |i1(+)另一方面 ,选取 k, 使得m|aik | maj x | aij |i 1 j i 1令x0为第 k的单位向量 ek (0,L 0,1,0,L ,0)T,那

14、么 Ax0ak (a1k ,a2k ,L ,amk)m|A|1 m|x|a|1 x1 | Ax |1 | Ax0 |1 i 1|aik|mmax |aij | (+) j i 1综合(+) 与(+) 可知, 由向量 l1 -范数诱导出的矩阵范数既是| A |1的上界 , 又是其下界 , 因此必有 .例 3. 2 设 A Cm n ，矩阵谱范数由 l2 -范数诱导得出的矩阵范数，定义为| A |2 max | 是 AH A的特征值 max ( AH A)其中 1为A的最大奇异值 , 当 A Rnn时, | A |2max ( AT A)证明:首先由线性代数 , AH A是半正定矩阵 , 事实上

15、,对任一 x Cn, 有(x,AH Ax) xHAH Ax (Ax)H (Ax) |Ax|22 0 H因此, AH A的特征值都为非负实数 , 记为 1 2 LHn 0,而且 AH A具有 n个相互正交的 , l2 -范数等于 1( 即标准化了的 )特征向量 x(1),x(2),L ,x(n), 它们分别对应于特征值故这组特征向量构成了一组标准正交基，用它们可表示任一个范数| x |2 1的向量 x ：而且，由 | x |21 ， 可得到这样，AH AxnAH Ai1ix(i)ix(i)1。i(AH Ax(i)i i x(i)由此也就是| Ax |22(x, AH Ax)1| 1 |22| A

16、x |21i12|2ix(i)ix(i)n |2n2ii1*)由 x 的任意性和算子范数的定义|A|2 m|x|2ax1 | Ax |2另一方面，由 | x |2 1，并且取 1对应的特征向量 x(1) ，考虑(1) 2 (1) H (1) (1) (1) (1) (1) (1) 2|Ax |2 (x ,A Ax ) (x , 1x )1(x ,x ) 1| x |2 1所以* )| A |2 m|x|ax1 | Ax |2 | Ax(1) |2 1综合( *)和( * )，由l2 -范数诱导得出的矩阵范数应为| A|21 max | 是AH A的特征值max(AHA) 1。例 33 设 A

17、Cm n，l -范数诱导得出的矩阵范数| A|m1 iaxm j| aij1证明：设 x ( x1, x2,L ,xn)T,且|x| 1，即 max| xi | 1。 i| Ax|m1 iamxaij x j j1nnmiax |aij xj | miax |aij |xj | i j 1 i j1nmiax (|aij | (maj x |xj|)i j 1 jnmai x | aij |i j 1由算子范数，| A| |m|x|ax1| Ax|nmax | aij |i j 1*)另一方面，选取 k，使得nn| akj | mai x | aij |j 1 i j11, if akj 0

18、令 y (y1,y2,L ,yn)T,其中 yj|akj |, if akj 0 akj则 |y| max|yj | 1，从而有nAy|akj |j1*M* ）由算子范数 nn|A| |m|x|ax1| Ax | | Ay |akj | maix |aij |。|x| 1 j 1 i j 1综合（ * ）和（ * ），便得n|A| m1 iamx |aij |。1 i m j 1除了上述 3 种常用的矩阵范数外，Frobenius 范数虽然不是算子范数，但也经常所用， 在讨论序列收敛等问题上是等价的。例3 4 设 A 124，求其各种矩阵范数。3解： | A |1最大列和= 6；|A|最大行和

19、= 7；| A|F12 22324230 5.477 ；| A|215 2215.4650四 由矩阵范数推出的向量范数矩阵范数可由向量范数诱导，反过来，向量范数有时也可从矩阵范数推出。例41 设|?|M是Cn n上的矩阵范数，任取 C n中的非零向量 y，则函数| x |V |xyH |M , x Cn（4。1）是Cn上的向量范数，且矩阵范数 |?|M与向量范数 |?|V 相容。证明：欲证 | x |V 是一个向量范数，只须验证它满足向量范数得个条件。非负性：当 x 0时，由于 y非零，故 | x |V |xyH |M 0, x Cn； 当x 0时，xyH On n ，故| x |V |xyH

20、 |M 0。齐次性：对任一常数 c C ，有|cx |V |cxyH |M |c|xyH |M |c|x|V。三角不等式： 对任意的 x,z Cn ，有|x z|V |(x z)yH |M |xyH xzH|M |xyH |M |xzH |M | x |V | z |M 。因此由向量范数的定义知， | x |V 是一个向量范数。 下面再证两种范数的相容性。如果 A Cn n, x Cn ，那么 | Ax |V |(Ax)yH |M | A(xyH ) |M | A |M| xyH |M | A|M |x |V 。可见，矩阵范数 |? |M与向量范数 | ? |V 相容。五 范数的若干应用范数的

21、应用很广泛，这里只举 2 例。1 矩阵奇异性的条件对于矩阵 A Cn n ，能否根据其范数的大小，来判别 (I A)的奇异性？判别一个矩阵的奇 异性，并不方便(比如计算 A 的行列式的值是否非零，判断 A 的诸列是否线性无关等，均|?|, 有|A| 1,不大容易)，但矩阵的范数的计算，如 | A |1,| A| ，还是方便的。则矩阵 (IA) 非奇异 , 且有1 |I | |(I A) 1 |1 |A|证明 :假设矩阵范数 | A |与向量范数 | x |相容。欲证矩阵 (I A) 非奇异，可通过定理 (Banach 引理 ) 设矩阵 ACn n ,且对矩阵 Cn n上的某种矩阵范数det(I

22、 A) 0。用反证法。假设 det(I A) 0 ，则齐次线性方程组 (I A)x 0 有非零解 x0，即(I A)x0 0, x0 0于是，x0 mAx0 。两边取范数| x0 |V | Ax0 |V | A | x0 |V | x0 |V其中最后一个不等号是由于 |A| 1。 但上式是矛盾的，假设 det(I A) 0不成立，从而矩阵 (IA) 非奇异，故有逆。再由1 1 1 (I A) 1(I A) I 可得 (I A) 1 I m(I A) 1 A两边取范数，得 |(I A) 1| |I m(I A) 1A| |I | |(I A) 1 | A |再移项，有|(I A) 1|(1 |

23、A |) |I |从而|(I A) 1| 1|I|A|这正是我们要想证明的。在推演分析 Ax b 的直接法的误差分析时起重要的作用。请同学们自行证明下面类似的结果。定理 设矩阵 A Cn n ,且对矩阵 Cn n上的某种矩阵范数 |?|,有|A| 1，则|I (I1A) 1 |A|1 |A|2 近似逆矩阵的误差逆矩阵的摄动在数值计算中，误差无处不在，考虑由于这些误差存在而带来的后果，是一项重要的 课题。设矩阵 A Cn n的元素 aij带有误差 aij,(i, j 1,2,L ,n) ，则矩阵的真实的值应为A A，其中 A ( aij )称为误差矩阵，又叫摄动矩阵。若A为非奇异，其逆阵为 A

24、1。问题是： ( AA) 1与A 1的近似程度如何呢？或者说，(A A) 1与 A 1 的“距离”大小为多少？下面是回答上述问题的摄动定理。定理 设矩阵 A Cn n 非奇异，B Cn n ，且对 Cn n 上的某种矩阵范数| ?| ，有1|A 1B| 1，则(1)A B非奇异； (2)记 F I(I11A 1B) 1 ，那么 |F |A 1B|1 |A 1B |3)|A 1 (A B)1|A 1|A 1B|1 | A 1B |证明：由于|A1B| 1，所以| A1B| 1。由定理 5。1， (I A1B)非奇异，故1A B A(I A 1B) 非奇异。1在定理 5。2 中，将 A换成 A 1B ，即得( 2)。 又因为 A 1 (A B) 1 (I (I A 1B) 1)A 1， 两边取范数，并利用( 2)的结论，可得|A1(A B) 1|