华中科技大学研究生矩阵论Matrix4-1

1、 概述概述： 矩阵的逆：矩阵的逆：An n ， Bn n ，BA= AB = I, 则则 B=A1 广义逆的目标：广义逆的目标：推广推广逆的概念逆的概念 对一般的矩阵对一般的矩阵 Am n可建立可建立逆的部分性质逆的部分性质。 当矩阵当矩阵An n可逆时，广义逆与逆可逆时，广义逆与逆相一致相一致。 应用：广义逆可以作为应用：广义逆可以作为方程组方程组AX=b求解求解和和最小二最小二乘法乘法的理论分析工具。的理论分析工具。若若A可逆，推出：可逆，推出：BA=I，AB = I，进而有，进而有 ABA = A，BAB = B，(AB)H = AB，(BA)H = BA，由此可引出多种广义逆。这里重点

2、讨论三种：由此可引出多种广义逆。这里重点讨论三种：单侧逆单侧逆，减号逆减号逆和加号逆。和加号逆。满秩矩阵和单侧逆满秩矩阵和单侧逆1、左逆和右逆的定义、左逆和右逆的定义 定义定义4.1 (P.93) A Cm n， B Cn m，BA=In，则称矩阵则称矩阵B 为矩阵为矩阵A的的左逆左逆，记为，记为 B = A Cm n ， C Cn m，AC=Im，则称矩阵则称矩阵C为矩阵为矩阵A的的右逆右逆，记为，记为 C =1LA1RA例题例题1 求矩阵求矩阵A的左逆：的左逆：A =121001A的右逆？的右逆？不存在！不存在！0100011LAnArACrm)()( 必要条件必要条件mArBArn)()

3、( 右逆存在右逆存在左逆存在左逆存在满秩矩阵和单侧逆满秩矩阵和单侧逆1、左逆和右逆的定义、左逆和右逆的定义 定义定义4.1 (P.93) A Cm n， B Cn m，BA=In，则称矩阵则称矩阵B 为矩阵为矩阵A的的左逆左逆，记为，记为 B = A Cm n ， C Cn m，AC=Im，则称矩阵则称矩阵C为矩阵为矩阵A的的右逆右逆，记为，记为 C =1LA1RA例题例题1 求矩阵求矩阵A的左逆：的左逆：A =001001左逆不唯一！左逆不唯一！baAL10011nArACrm)()( 必要条件必要条件mArBArn)()( 右逆存在右逆存在左逆存在左逆存在的存在性的存在性1LA直观分析直观

4、分析1LA 存在存在 矩阵矩阵A列满秩列满秩= (AHA)1AH 1LA定理定理4.1(P.93) 设设 A Cm n ，下列条件等价，下列条件等价1. A左可逆左可逆;2. A的零空间的零空间 N(A) = 0;3. m n，秩秩(A) = n，即即A是是列列满秩的满秩的;4. 矩阵矩阵AHA可逆，且可逆，且 = (AHA)1AH 。如前例如前例 矩阵矩阵 A = 左可逆，左可逆，AT右可逆。右可逆。1210011LAnmArBArn ,)() (IAAAAHH1)(BA = In Ax = 0 x = BAx = 0n-r(A) = 0r(AHA) = r(A)如何求左或右逆？如何求左或右

5、逆？可用行或列初等变换！可用行或列初等变换！矩阵右逆的存在性矩阵右逆的存在性定理定理4.2 (P.94) 设设A Cm n ，则下列条件等价：则下列条件等价：1. 矩阵矩阵A右可逆右可逆;2. A的列空间的列空间 R(A) = Cm ;3. n m, 秩秩(A) = m, 即即A是是行行满秩的满秩的;4. 矩阵矩阵 AAH 可逆，且可逆，且 = AH(AAH)11RA讨论：可逆矩阵讨论：可逆矩阵An n的左、右逆和逆的关系的左、右逆和逆的关系 可逆矩阵可逆矩阵A的左、右逆就是矩阵的左、右逆就是矩阵A的逆的逆A A1 = (AHA)1AH = AH(AAH)1nmArACrm ,)() (IAA

6、AAHH1) ( AC = Im x = ACx x R(A)r(A)=dimR(A)r(AAH) = r(A)讨论讨论方程组方程组AX=b 有解与左、右逆存在的关系。有解与左、右逆存在的关系。借助于左、右逆求借助于左、右逆求AX=b的形如的形如X=Bb的解。的解。1、右可逆矩阵、右可逆矩阵定理定理4 4 (P.95)1. A Cm n右可逆，则右可逆，则 b Cm，AX=b 有解。有解。2. X= b 是方程组是方程组 AX=b 的解，特别地，的解，特别地， X=AH(AAH)1 b 是一个解。是一个解。1RA由由AC=I，知，知 ACb=Ib=b，又，又AAH可逆，得证可逆，得证。左可逆矩

7、阵左可逆矩阵求解分析：求解分析：定理定理4 3 (P.94) 设矩阵设矩阵A Cm n左可逆，左可逆，B是矩是矩阵阵A的任何一个左逆，则的任何一个左逆，则1. AX=b有形如有形如X=Bb的解的充要条件是的解的充要条件是 ( ImAB )b=0 ()2. 当当()式成立时，方程组的解是惟一的，而且惟式成立时，方程组的解是惟一的，而且惟一解是一解是X = (AHA)1AHb证明：证明：1. b=AX=ABAX=ABb；2. X= (AHA)1AHAX讨论：讨论：对任何满足式对任何满足式( ) 的左逆的左逆B，X=Bb都是方都是方程组的解，如何解释方程组的解是惟一的？程组的解，如何解释方程组的解是

8、惟一的？思想思想：用用公理公理来定义广义逆。来定义广义逆。一、减号广义逆一、减号广义逆 定义定义4.2 (P.95) A Cm n ，如果，如果， G Cn m使得使得 AGA=A，则称矩阵则称矩阵G为为A的的减号广义逆减号广义逆，或或1-逆逆。 A的减号逆的减号逆集合集合记为记为A1 = A1，A2， ， Ak 例题例题1 A Cn n 可逆，则可逆，则 A1 A1； A单侧可逆，则单侧可逆，则A1L A1；A1R A1。 若若A = 0 Cm n，则，则 A1 = Cm n。 减号逆的求法：减号逆的求法：初等变换求等价标准型初等变换求等价标准型 定理定理4.5(P.95)设设A Cm n,

9、 rank(A) = r, 若存在可逆阵若存在可逆阵P，Q 使使 PAQ = , 则则 G A1 当且仅当当且仅当 其中其中 U，V，W任意。任意。 证明思路证明思路：令：令 由由 AGA = A 可推出可推出: X = Ir 。000rI,PWVUIQGrPWVUXQPGPQQG)(11任一矩阵的减号逆总存在，且一般不惟一！任一矩阵的减号逆总存在，且一般不惟一！ 减号逆的性质：减号逆的性质：定理定理4.6 - 定理定理4.8 定理定理4.6 (P.96)设设A Cm n，则，则A的的1-逆惟一当且仅当逆惟一当且仅当 m = n，且，且A-1存在（即存在（即A可逆）。可逆）。定理定理4.7 (

10、P.96)设设A Cm n，则，则 A- 满足满足 (1) rank(A) = rank(A-); (2) AA-与与A-A都是幂等阵，且都是幂等阵，且 rank(A) = rank(AA-) = rank(A-A); (3) R(AA-) = R(A), N(A-A) = N(A)。定理定理4.8 (P.97)设设A Cm n, A- A1。若。若AX = b有有解，则其通解可表示为：解，则其通解可表示为：X = A-b+(In-A-A)Z，Z Cn任意。任意。A-b为为AX=b的特解的特解, (In-A-A)Z为为AX=0的通解的通解.E.H. Moore and Roger Penros

11、e由由Moore 1920年提出，年提出，1955年由年由Penrose独立研究独立研究和发展。和发展。1、 定义定义4.3 (P.98) 设矩阵设矩阵 A Cm n，如果，如果 G Cn m ，使得，使得1. AGA = A 2. GAG = G3. (AG)H = AG4. (GA)H = GA 则称则称G为为A的的M-P广义逆广义逆，记为，记为G=A+ (简称简称加号逆加号逆) 。 A1 = A+；A1L = (AHA)1AH = A+； A1R = AH(AAH)1 =A+；若若 A+，则则A+是是A1。例题例题2 讨论原有的逆的概念和讨论原有的逆的概念和M-P广义逆的关系。广义逆的关

12、系。A = G+ = (A+)+(A+)H = (AH)+ 3、M-P广义逆的存在性及其求法广义逆的存在性及其求法 定理定理4.10（P.99）任何矩阵都有任何矩阵都有M-P广义逆。广义逆。 求法求法： 设设A有有满秩分解满秩分解 A = BC，则有则有 A+ = CH (CCH )1 (BH B)1 BH 。 (定理定理4.11) 设设A有奇异值分解有奇异值分解 ：，则，则HrVUA000HrUVA0001定理定理4.9 (P.98) 如果如果A有有M-P广义逆，则广义逆，则A的的M-P 广义逆是广义逆是惟一的惟一的。定理定理4.12 (P.100) ：A+ 满足下列性质：满足下列性质：1.

13、 (A+)+ = A2. (A+)H = (AH)+3. ( A)+ = +A+4. A 列满秩，则列满秩，则 A+ = (AHA) 1AH ， A 行满秩，则行满秩，则 A+ = AH (AAH) 1 ; 5. A 有满秩分解：有满秩分解：A = BC，则则 A+ = C+ B+。A +与与A1 性质的性质的差异比较差异比较： (AB)1 = B1A1，一般不成立一般不成立 (AB)+ = B+A+ (只有满秩分解成立只有满秩分解成立) (A1)k = (Ak)1，但不成立但不成立(A+)k = (Ak)+rank(A) = rank(A+); rank(A) = rank(A+A) = r

14、ank(AA+).左逆左逆右逆右逆例题例题1 求下列特殊矩阵的广义逆；求下列特殊矩阵的广义逆； 零矩阵零矩阵0； 1阶矩阵阶矩阵(数数) a； 对角矩阵对角矩阵 0 + mn = 0 nm 例题例题2 求非零向量求非零向量 的的M-P广义逆。广义逆。. 0 , 0; 0 ,)(11aaaaaaaHHnn2121nxxxx212xxxxxxHHH单位向量：单位向量：Hxx 例题例题32xxxxxxHHH;01)0 , 1 ( );0 , 1 (011121) 1 , 1 ( );1 , 1 (2111) 1 , 1 (010011)0 , 1 (01000101001000010, 0, 0,y

15、xFyFxmn2222)()()(yxxyxxyyxyxyHHHHH01) 1 , 1 (010121)0 , 1 (11210001)0 , 1 (0101)0 , 1 (000100)0 , 1 (01001)0 , 1 , 0(例题例题5 设设 ，求，求A+。101220211A例题例题4110101012011ArrrAIA00;01012100) 1 , 1 (0011000100)0 , 1 (0001000100000010000010;0)0 ,( );0 ,(0rrrrIIII?0 )(rnrrAFA行满秩，0 ,0 ,rrrAIA一、投影变换和投影矩阵一、投影变换和投影矩阵

16、定义定义4.4 (P.101) 设设 Cn = L M，向量向量 x Cn, x = y + z，y L，z M，如果线性变换如果线性变换 ：Cn Cn， (x) = y， 则称则称 为从为从 Cn 沿子空间沿子空间M到子空间到子空间L的的投影变换投影变换。投影变换的矩阵投影变换的矩阵R( ) = L；N( ) = M， Cn = R( ) N( ) L和和M是是 的不变子空间；的不变子空间；L= I；M = 0000 ,2, 1rIn投影的矩阵和变换性质投影的矩阵和变换性质：1. 定理定理4.13 (P.101) 是投影变换是投影变换 是幂等变换是幂等变换2. 推论推论： 为投影变换的充要条

17、件是变换矩阵是幂等矩阵为投影变换的充要条件是变换矩阵是幂等矩阵1. 正交正交投影的定义：投影的定义：定义定义4.5（P.103）设设 ：Cn Cn 是投影变换，是投影变换， Cn = R( ) N( )，如果如果 R ( ) = N( )，则称，则称 为正交投影变换。为正交投影变换。正交投影矩阵正交投影矩阵 定理定理4.14（P.103） 是正交投影是正交投影 投影矩阵投影矩阵A满足：满足：A2 = A, AH = A例题例题1 设设W是是 Cn 的子空间，证明：存在到的子空间，证明：存在到W的投的投影变换，使影变换，使 R( ) = W。类似地：类似地：在内积空间在内积空间 Cn 中，存在到

18、中，存在到W的正交投影的正交投影变换，使变换，使 R( ) = W。充分性充分性: 证证R (A) = N(A); 必要性必要性: 证证R(A) = R(AH), N(A)=N(AH)。投影矩阵的求法投影矩阵的求法 设设A：Cn L 是投影阵，是投影阵， Cn = L M，dim(L) = r。取。取L和和M的基的基 y1, y2, , yr, z1, z2, , zn-r，则有，则有 A(y1, y2, , yr) = (y1, y2, , yr)， A(z1, z2, , zn-r) = (0, 0, , 0)。记记 B = (y1, y2, , yr), C = (z1, z2, , z

19、n-r)，则，则A(B, C) = (B, 0)，推出，推出 A = (B, 0) (B, C)-1 。例（例（P102例例6）R2 = L(1,0)T L(1,-1)T，R2到到L(1,0)T和和L(1,-1)T的投影阵分别为：的投影阵分别为：Cn到到M的投影阵的投影阵 = ? = I A00111011 0001 1A1010 2AIA正交投影矩阵的求法正交投影矩阵的求法 在上述推导中，令在上述推导中，令M = L ，BHC = 0，则，则 A = (B, 0) (B, C)-1 = (B, 0) (B, C)H(B, C)-1(B, C)H = B(BHB)-1BH同理，同理，Cn到到L

20、 的正交投影阵的正交投影阵 = I A = I B(BHB)-1BH = C(CHC)-1CHB 或或 C 的列标准正交时，如何？的列标准正交时，如何？例例(P24例例30) Rn上上(沿沿u)的正交投影的正交投影P变换：变换：P(x) = x (x, u)u，u是单位向量。是单位向量。例例(P105例例7) R3，L = La1,a2，求到，求到L的正交投影阵的正交投影阵A及及Ax。?P(x) = (In uuT)x = (In u(uTu)-1uT)x。BHB=Ir, CHC=In-r3. 正交投影的性质正交投影的性质定理定理4.16（P.104）设设W是是 Cn 的子空间，的子空间，x0

21、 Cn，x0 W，如果如果 是空间是空间 Cn 向空间向空间W的正交投影，的正交投影，则则Wyxyxx ,)(000含义：含义：点点 (x0) 是空间是空间 W 中与点中与点 x0 距离最近的点。距离最近的点。证证 由由 Cn = W W = R( ) N( )，知对，知对 y W, 有有 y (x0) W, (x0) x0 W , 因此，因此，200020)()(xxxyxy20020)()(xxxyWyxy ,)(204. A+A与与AA+的性质的性质定理定理4.15（P.104）Th4.14 + Th4.7 A+A 的性质：的性质： (A+A)2 = A+A，(A+A)H = A+A C

22、n = R(A+) N(A) R (A+) = N(A) AA+ 的性质：的性质： (AA+)2 = AA+，(AA+)H = AA+ Cm = R(A) N(A+) R (A) = N(A+)A+A 是正交投影是正交投影，它将向量，它将向量 x 投影到空间投影到空间R(A+)中。中。AA+ 是正交投影是正交投影，它将向量，它将向量 x 投影到空间投影到空间R(A)中。中。Cn = R(A+A) N(A+A)Cm = R(AA+) N(AA+)R(A+A)=R(A+), N(A+A)=N(A)R(AA+)=R(A), N(AA+)=N(A+)一、最佳最小二乘解一、最佳最小二乘解Amn xn1

23、= bm1有解有解 b R(A)无解无解 b R(A)AX = b 的最佳最小二乘解的最佳最小二乘解定义定义4.6（P. 105）u 是最小二乘解是最小二乘解 x0 是最佳最小二乘解是最佳最小二乘解 nCxbAxbAu ,2、 Ax = b的最佳最小二乘解的计算的最佳最小二乘解的计算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。220ux202xu证明思路：证明思路：利用利用AA+：x0是是最小二乘解；对任一最小二乘解最小二乘解；对任一最小二乘解u有：有：u - x0 N(A)，从而，从而 x0 (u - x0 )，因此，因此 一、最佳最小二乘解一、

24、最佳最小二乘解2、 Ax = b的最佳最小二乘解的计算的最佳最小二乘解的计算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。2020202002xxxuxxuu证明：证明：(1) 利用利用AA+：x0是是最小二乘解。最小二乘解。由由Th4.15nCxbAxbAu ,220ux(2) 对任一最小二乘解对任一最小二乘解u有：有：u - x0 N(A)，从而，从而 x0 (u - x0 )，进而进而 Cm = R(AA+) N(AA+) = R(A) N(A+), N(A+)=R (A)()( , ARAARybybbAAnCxbAxbAx , 0设设b=b1+b2, b1 R(A), b2 N(A+)=R (A), 则有则有 nCxbbAxbbAxbAx ,22212212一、最佳最小二乘解一、最佳最小二乘解2、 Ax = b的最佳最小二乘解的计算的最佳最小二乘解的计算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。证明：证明：(1) 利用利用AA+：x0是是最小二乘解：最小二乘解：nCxbAxbAu ,220uxnCxbAxbAx ,02020202002xxxuxxuu(2) 对对任一任一最小二乘解最小二乘解u有：有：u - x0 N(A)，从而