第六章 广义逆矩阵

1、第六章第六章 广义逆矩阵广义逆矩阵知识要点知识要点v投影矩阵投影矩阵v广义逆矩阵广义逆矩阵v相容方程组的最小范数解相容方程组的最小范数解v矛盾方程组的最小二乘解矛盾方程组的最小二乘解v矛盾方程组的最小范数最小二乘解矛盾方程组的最小范数最小二乘解v总体最小二乘技术总体最小二乘技术6.1投影矩阵投影矩阵一、投影算子与投影矩阵一、投影算子与投影矩阵 设L和M都是Cn的子空间，且LM=Cn 于是任意xCn都可唯一分解为x=y+z，yL，zM，称y是x沿着M到L的投影1. 定义定义 将任意xCn变为沿着M到L的投影的变换称为沿着M到L的投影算子，记为PL,M，即 PL,M x=y。v显然， R(PL,M

2、)=L， N(PL,M)=Mv投影算子PL,M是一个线性算子。2.定义定义 投影算子PL,M在Cn的基e1,en下的矩阵称为投投影矩阵影矩阵记为PL,M。3.幂等矩阵幂等矩阵：A2=A引理引理 设ACnn是幂等矩阵，则 N(A)=R(I-A)。证证：A2=A A(I-A)=O 对任意 xR(I-A)即x=(I-A)y，yCn，必有Ax=0。故R(I-A)N(A) dim R(I-A) dim N(A) = n-dim R(A)即 rank(I-A) n-rankA。考虑到I=A+(I-A) n rankA+rank(I-A)有rank(I-A)=n-rankA，使得dimR(I-A)=n-di

3、mR(A)=dimN(A)，即得N(A)=R(I-A)。4.定理：定理：P为投影矩阵的充要条件是投影矩阵的充要条件是P为幂等矩幂等矩阵阵证：设P=PL,M为投影矩阵，则对任意xCn有P2L,M x = PL,M (PL,M x) = PL,M y = y = PL,M x故P为幂等矩阵。反之，设P为幂等矩阵，则：对任意xCn有x=x-Px+Px=(I-P)x+Px，其中(I-P)xN(P)，PxR(P)，使得Cn=N(P)+R(P)。设zN(P)R(P)，由于N(P)=R(I-P) 故存在u，v Cn 使得 z=Pu=P2u=P(I-P)v z=Pu=(I-P)v=0故 N(P)R(P) =

4、0。这样 Cn = N(P)R(P)，这意味着对任意 xCn，Px是x沿着N(P)到R(P)的投影，故而P=PR(P), N(P) 5. 投影矩阵投影矩阵PL,M的构造方法的构造方法 设 dimL=r，则 dimM=n-r，在子空间L和M中分别取基底X=(x1,xr) 和 Y=(y1,yn-r)，于是有PL,MX,Y=X,O。由于(X,Y)为Cn的一个基底，故X,Y可逆，于是得PL,M=X,OX,Y-1例例：设L是由向量1,0T张成的子空间，M是由向量1,1T张成的子空间，则可求得平面上沿着M 到L的投影矩阵为 PL,M=110110001101111000100二、正交投影算子与正交投影矩阵

5、二、正交投影算子与正交投影矩阵1.定义：定义：设L是Cn的子空间，则称沿着L到L的投影算子PL,L为正交投影算子，简记为PL；正交投影算子在Cn的基e1,en下的矩阵称为正交投影矩阵，记为PL 2. 定理定理 矩阵P为正交投影矩阵的充要条件是P为幂等Hermite矩阵 证：证：若P=PL是正交投影矩陈, 由前述定理知，它是幂等矩阵。把任意xCn分解为x=y+z，yL，zL，则PLx=yL，(I-PL)x = z L使得PLx正交于(I-PL)x，即xHPLH(I-PL)x=0，x的任意性使得 PLH(I-PL)= O，即，即PLH=PLHPLPLH=PLHPL=(PLHPL)H =(PLH)H

6、=PL即PH=P， P为幂等Hermite矩阵。反之，设P为幂等Hermite矩阵，由幂等性知 P=PR(P),N(P)，N(P)=R(I-P)对任意 Px与(I-P)y，有=xHPH(I-P)y=xHP(I-P)y=xH(P-P2)y=0即得：R(P)N(P)。因此P为正交投影矩阵。3. 正交投影矩阵正交投影矩阵PL的构造方法的构造方法设dimL=r，则dimL=n-r。在子空间L和L中分别取基底X=(x1,xr)和Y=(y1,yn-r) 满足 XHY=Or(n-r)，于是说明：令 ，则有两边左乘 XH 得 即 A=(XHX)-1XH ，同理可得 B=(YHY)-1YH HHHHLYYYXX

7、XOXYXOXP111)()(,HHXXXX1)(BAYX1,YBXABAYXYXYXI,1AXXYBXXAXXHHHH)(例例：设L是由向量1,2,0T和0,1,1T张成的子空间，则可求得正交投影矩阵为11105222121,222560122212516215HHHHLXXXXXPX XXX三、正交投影原理及其应用三、正交投影原理及其应用1.正交投影原理正交投影原理 令M是向量空间H的子空间，如果对于H中的向量 x，在M中有一向量x，使得x-x正交于M中的所有向量y，即(x-x,y)=0，则|x-x|x-y|对于所有向量yM都成立，并且等号仅当y= x时成立。证：|x-y|2=|x-x+x

8、-y|2=|x-x|2+2(x-x, x-y)+|x-y|2，故(x-x, x-y)=0使得|x-x|2|x-x|2+|x-y|2=|x-y|2并且等号仅当 y=x 时成立。2.x=PMx为为x在在M的投影，的投影，x-PMx为为x在在M 的投影的投影。3.W-H方程：使用线性滤波d=(h,x)从观测随机向量x估计希望信号d，则由(d-(h,x), x)=0有W-H方程rdx=Rxxh，其中互相关向量rdx= (d,x)=E(d,x)，自相关矩阵Rxx=E(xxT) 。四四.子空间分析子空间分析1.观测空间：观测x=信号s+噪声n，其中s与n不相关，观测矩阵X=信号矩阵S+噪声矩阵N =(x1

9、,xn)，观测空间Span(X)=Spanx1,xn2.信号子空间和噪声子空间解：RX=E(XTX)=RS+RN，其中假设噪声独立同 分布使得RN=E(NTN)=n2I和 RS=E(STS)秩r使得RS=US SUSTRX=US SUST+ n2I =US( S +n2I)UST =UX XUXT UX = US和 X= S +n2I,令UX=u1,un，BS=u1,ur， BN=ur+1,un，则称 Span(BS)和Span(BN)分别为信号子空间和噪声子空间。3. s1+n2, sr+n2为主特征值， n2为次特征值4.信号子空间投影矩阵PS=BSBST，噪声子空间投影矩阵PN=BN B

10、NT =I-PS=PS为信号子空间正交投影矩阵。5.子空间分析法应用例子空间分析法应用例：现代谱估计的MUSIC算法。设信号向量是r个不相干的复正弦的叠加，即 其中A=a(1),a(r) ， a(k)=1,exp(j(n-1)T为频率分量向量，s(t)=s1(t),sr(t)T为随机信号向量，具有零均值其协方差阵为RS=E(s(t)s(t)H)， n(t)=n1(t),nn(t)T为零均值方差为n2的独立同分布高斯白噪声。 RX=BS( S+n2I)BSH+n2BNBNH=ARSAH+n2I RXBN=n2BN=ARSAHBN+n2BNARSAHBN=O AHBN=O 即即 BNHA=O，也即

11、BNHa()=0， =k, k=1,rrkkkttatstx1)()()()()(nAs于是有基于噪声子空间的功率谱估计P()=1/|BNHa()|2 ，所有的。其r个峰值给出了r个复正弦频率。由于BN BNT =I-BSBSH，其中RX-n2I=BS SBSH，于是有基于信号子空间的功率谱估计P()=1/(a()H(I-BSBSH)a()。用哪个取决于哪个子空间有较小的维数。 6.2 广义逆矩阵定义及其性质广义逆矩阵定义及其性质v定义：设矩阵定义：设矩阵A Cm n，若矩阵，若矩阵X Cm n满足如下满足如下四个方程四个方程vAXA=AvXAX=Xv(AX)H=AXv(XA)H=XA 中的一

12、个或几个，则称为矩阵中的一个或几个，则称为矩阵A的广义逆；若四的广义逆；若四个方程全部满足，则称为矩阵个方程全部满足，则称为矩阵A的的Moore-Penrose逆，记为逆，记为A+。v定理一：矩阵定理一：矩阵A Cm n的广义逆的广义逆A+存在且唯一。存在且唯一。证明：先证存在性。设矩阵证明：先证存在性。设矩阵A的满秩分解为的满秩分解为 A=BC，定义，定义A+=CH(CCH)-1(BHB)-1BH则则A+满足定义中的四个方程。下面证唯一性。满足定义中的四个方程。下面证唯一性。设矩阵设矩阵X与与Y都满足四个方程，则都满足四个方程，则 X=XAX=X(AX)H=XXHAH=XXHAHYHAH=X

13、(AX)H(AY)H =X(AXA)Y=XAY Y=YAY=(YA)HY=AHYHY=AHXHAHYHY=(XA)H(YA)HY =XAYAY=XAY所以所以X=Y。(证完证完)若矩阵若矩阵A是满秩方阵，则是满秩方阵，则A+=A-1. 一般研究满足定义中四个方程中部分或全部构成的广义一般研究满足定义中四个方程中部分或全部构成的广义逆，如满足逆，如满足1，1,2，1,3，1,4，1,2,3,4，分别记为，分别记为A1，A1,2，A1,3，A1,4，A1,2,3,4，自然，自然A+= A1,2,3,4 。A+是最常用的广义逆。一般记：是最常用的广义逆。一般记：A- =A1。定理二：设矩阵定理二：设

14、矩阵A给定，则给定，则A+满足如下性质满足如下性质vrank A+=rank Av(A+)+=Av(AH)+=(A+)H, (AT)+=(A+)Tv(AHA)+=A+(AH)+, (AAH)+=(AH)+A+vA+=(AHA)+AH=AH(AAH)+vR(A+)=R(AH), N(A+)=N(AH)推论：若A Cnm n ，则A+=(AHA)-1AH 若A Cmm n ，则A+=AH(AAH)-1矩阵矩阵A广义逆广义逆A+的等价定义的等价定义: AA+=PR(A), A+A=PR(A+)。即 AA+=PR(A), A+A分别为R(A)和R(A+)上的正交矩阵。更有：AA1、A1A、AA2、A2

15、A 均为幂等矩阵6.3 广义逆矩阵广义逆矩阵A A+ +的计算方法的计算方法v满秩分解：设满秩分解：设A Crm n，A=BC为满秩分解，即为满秩分解，即B Crm r，C Crr n，则，则A+=CH(CCH)-1 (BHB)-1BHv奇异值分解：设奇异值分解：设A Crm n，其奇异值分解，其奇异值分解 A=VrUrH ， =diag(1, 2, , r)，则，则 A+= Ur-1VrH 特别，若特别，若A为实对称矩阵，则有分解式为实对称矩阵，则有分解式 A=UrUrT ，=diag(1, 2, , r)， i为矩阵为矩阵A的非零特征值，且的非零特征值，且 A+= Ur-1UrT 例例1

16、：设：设求求A+。解：解： （方法一）利用满秩分解公式可得（方法一）利用满秩分解公式可得101202A11012ABC从而从而 A 的伪逆矩阵是的伪逆矩阵是HHHHBBBCCCA11)()(21)2121()101101(1011121002110121101101（方法二）先求（方法二）先求A的奇异值分解：的奇异值分解：5152525100010515252518442HAA令：令：2102120210152511011V21021105251A210021101525110121021A例例2 ：设设求求A+。解解： （方法一）（方法一）由满秩分解公式可得由满秩分解公式可得于是其伪逆矩阵为

17、于是其伪逆矩阵为1122A11 12ABC HHHHBBBCCCA11)()(211110121)2121()1111(11112121101（方法二）先求（方法二）先求A的奇异值分解：的奇异值分解：5152525100010515252518442HAA令：令：2121221152511011V2121105251A212110152511012121A计算计算A+的迭代法（的迭代法（Greville法）法）v定理一：设A Crm n，记，记 ak (k=1,2, , n)为为A的第的第k列，列，Ak为为A的前的前k列构成的子矩阵，又记列构成的子矩阵，又记则则其中其中kkkaAd1kkkkd

18、Aac1HkHkkkkbbdAA100kkHkkHkkkHkcAdddccb1)1 (TkkTkkcccc1)(线性模型参数的最小二乘估计线性模型参数的最小二乘估计mxxxx21nnyyyY21mnmmnnnxxxxxxxxxX212222111211maaaa21xayT假设线性模型为假设线性模型为其中其中), 0(2N已知观测数据已知观测数据计算计算 a 可以看做求解可以看做求解其最小二乘估计的范数最小解为其最小二乘估计的范数最小解为现考虑实时在线估计，记现考虑实时在线估计，记线性模型参数的最小二乘估计线性模型参数的最小二乘估计nTnXaYnnTXYannTnXYaTnTnnnnnnnnn

19、TnbbdXyYXyYa1111),(),(),(xTnnTnnnnnbybdYXY111nnnXdx1TnnTnnnbaya)(11x由于由于线性模型参数的最小二乘估计线性模型参数的最小二乘估计11111)()(1 )1 (nTnTnnnTnTnnHnnHnXXXXXdddxxxnnnnnnnnXXdXcxxx111令令111nnnXXP111)(nTnnXXH则则nnnPIcx)(10 xxx0nnTnnnHnnnHncHHccb11)1 (线性模型参数的最小二乘估计线性模型参数的最小二乘估计TnTnnnnnnbbdXXP11xTnnTnnnnbbdXXx)(11TnnTnnnnnnbbX

20、XXXxx1111TnnnnbPIPx)(11TnTnnnnTnnTnnbbdXbdbXH11)(TnnTnnnTnnTnbbbdXdbX)()(11TnnTnnTnnTnnTnnTnnnTnbbbddbbdXXdbXX)()(1111TnnTnnnTnnTnnnnTnnnbbbxHxbbHHbH1111xx线性模型参数的最小二乘估计线性模型参数的最小二乘估计TnnnnTnTnnnnTnnnbbxHxbHHbH) 1()(1111xx算法算法nnTnnnnbayaa)(11xnnnPIcx)(10 xxx0nnnnnTnnnnTnncHHccccb1111)1 ()(TnnnnnbPIPPx)

21、(11TnnnnTnTnnnnTnnnnbbxHxbHHbHH) 1()(1111xx定理二定理二：设设A Crm n，则存在奇异值分解，则存在奇异值分解于是于是证明：由于证明：由于A的秩为的秩为r，因此存在形如，因此存在形如(1)式的分解。设式的分解。设G A1，则有，则有 AGA=A广义逆广义逆A-的计算的计算HrnrmrrmrnrrUVA)()()()(000HrmrnrrnrmrrVDCBUA )()()()(1(1)(2)即即把矩阵把矩阵UHGV分块，设分块，设代入得代入得即即最后得最后得HrHrHrUVUGVUV000000000DCBHGVUrH000000000rrrrDCBH

22、00000000rrrrrBH000000rrrrH由此得出由此得出即即于是有于是有这证明了这证明了(2)式。式。rrrrH1rrHHrVDCBUG1定理三定理三：设设A Crm n，其奇异值分解为，其奇异值分解为则则因此因此 rank(A)=rank(A1,2)。证明：设证明：设G A1,2，有定理二知，有定理二知再由条件：再由条件： GAG=G 得得 广义逆广义逆A1,2的计算的计算HrrVBCCBUA12, 1(1)(3)HrVDCBUG1HrUVA000即即于是有于是有得得再由再由HrHrHrHrVDCBUVDCBUUVVDCBU111000DCBDCBDCBrrrr111000DCB

23、DCBCIrrrr1100DCBBCCBrrr11即即00011BBCCBICIrrrrmrr知知 rank(A)=rank(G)BCDr定理四定理四：设设A Crm n，其奇异值分解为，其奇异值分解为则则证明：设证明：设G A1,3，有定理二知，有定理二知再由条件：再由条件： (AG)H=AG 得得 广义逆广义逆A1,3的计算的计算HrVDCUA013 , 1(1)(3)HrVDCBUG1HrUVA000即即于是有于是有得得HrHrHHrHrVDCBUUVVDCBUUV11000)000(DCBDBCrrrHHHr110000000000BIBIrrrHr0B定理五定理五：设设A Crm n

24、，其奇异值分解为，其奇异值分解为则则证明：设证明：设G A1,4，有定理二知，有定理二知再由条件：再由条件： (GA)H=GA 得得 广义逆广义逆A1,4的计算的计算HrVDBUA014, 1(1)(3)HrVDCBUG1HrUVA000即即于是有于是有得得HrHrHHrHrUVVDCBUUVVDCBU000)000(1100000011rrHHHrrDCBDBC0000rrHrrCICI0C设设A Crm n，其奇异值分解为，其奇异值分解为则则广义逆的计算广义逆的计算HrUVA000HrrVBCCBUA12, 1HrVDCBUA11HrVDCUA013 , 1HrVDBUA014, 1HrV

25、CUA0013 , 2, 1HrVBUA0014, 2, 1HrVDUA0014, 3 , 1HrVUAA00014, 3 , 2, 16.4 广义逆矩阵与方程组的求解广义逆矩阵与方程组的求解v一致方程的公式解一致方程解的结构一致方程的最小范数解v非一致方程的最小二乘解非一致方程的最小二乘解的结构非一致方程最小二乘解的范数极小解一致方程的公式解一致方程的公式解 v一致方程：若一致方程：若Ax=b有解，则称有解，则称 Ax=b 为一致方程。为一致方程。Ax=b为一致方程当且仅当为一致方程当且仅当 rank(A) = rank(A,b)。定理一定理一：非齐次方程：非齐次方程 Ax=b 有解的充分必

26、要条件为有解的充分必要条件为 AA-b=b证明：证明：必要性。设必要性。设 AX=b 有解有解 ，则，则 A =b=b 。因为。因为 AA-A=A，所以，所以 b = A = = AA-A = = AA-b 充分性。设充分性。设 AA-b=b，取，取 = =A-b，则，则 是是 AX=b 的解。的解。定理二：定理二：设非齐次线性方程组设非齐次线性方程组 Ax=b 是一致方程是一致方程 ，则，则它的一般解（通解）为它的一般解（通解）为x=A-b证明：由于证明：由于 Ax=b 为一致方程，因此由定理一有为一致方程，因此由定理一有AA-b=b可知可知 x=A-b 是方程是方程 Ax=b 的解。下面证

27、明的解。下面证明 Ax=b 的解都的解都可以表示成这种形式。设可以表示成这种形式。设A的奇异值分解为的奇异值分解为则有则有令令 U=U1,U2，V=V1,V2 及及HrUVA000bxUVAxHr000rmrHHbbbVbVb21rnrHHyyxUxUy21则有则有rmrrnrrbbyy000即即rrrby102bVbHrm通解通解rrnbCyrmrrrrrbbDCBUbCbUUyx11bAbAbVDCBUxHr3 , 2, 11于是有于是有定理三：定理三：齐次线性方程组齐次线性方程组 Ax=0 的通解为的通解为其中其中 z 是任意是任意n维列向量。维列向量。证明：首先容易证明证明：首先容易证明即即 (In-A-A)z 是是Ax=0的解。其次证明的解。其次证明 Ax=0 的解具有以的解具有以上的形式。设上的形式。设 是其任意解，则有是其任意解，则有定理四：定理四：一致方程一致方程 Ax=b 的通解为的通解为x=A-b+(I-A-A)zzAAIn)(0)()(zAAAAzAAIAnAAAAIn)(一致