矩阵论第五章广义逆及最小二乘

1、第五章广义逆及最小二乘解在应用上见得最频繁的、大约莫过于线性方程组了。作一番调查或整理一批实验数据，常常归结为一个线性方程组：Ax=b然而是否是相容方程呢？倘若不是，又如何处理呢？最小二乘解是常见的一种处理方法。其实它不过是最小二乘法的代数形式而已。广义逆从1935年Moore提出以后,未得响应。据说:(S.L.Campbell&C.D.Meyer.JrGeneralizedInversesofLinearTransformations1979P9)原因之一，可能是他给出的定义，有点晦涩。其后，1955年Penrose给出了现在大都采用的定义以后，对广义逆的研究起了影响，三十年来，广义逆无论在

2、理论述是应用上都有了巨大发展，一直成为了线性代数中不可缺少的内容之一。为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩阵的奇值分解。5.1矩阵的酉交分解、满秩分解和奇值分解在线行空间中，知道-个线性变换在不同基偶下的矩阵表示是相抵的或等价的。用矩阵的语言来说，就是：若呦，倘有非异矩阵P(e),Q(nxn)存在，使B=PAQ则称力与相抵的或等价的。利用初等变换容易证明秩为厂，则必有P,Q,使(I0)PAQ=reCmx(5.1-1)I。o丿其中人是广阶单位阵。在酉空间中，上面的说法，当然也成立，如果加上P,Q是酉交阵的要求，情形又如何呢？下面就来讨论这个问题。定理5.1.1(酉交分解)AeC

3、mxnf且秩为则xn),V(nxnUHU=Im,VHV=In,使UhAV=r(mxn)(5.12)(00丿其中为厂阶非异下三角阵。证明：A的秩为故4有厂个线性无关列，不妨设前个列是线性无关的，因为倘若非如此，则经过一系列的列交换，可以把它们调到前广列，这无异于对A乘上某一排列阵，排列阵是酉交阵，而酉交阵的积仍是酉交阵，故不是普遍性。记A为A=(aL,a2-,ar,ar+l,-an)按Gram-schmidt正交化法，将aya2,ar标准正交化为如，叫时比=列,li,jr且均是勺,叫的线性组合,注意到贴就是的上的单位向量,故nu.=01zr更一般的有ucij=0ji,li1般的有n：cij=Oi

4、j,lim(5.14)记U=(ul,u2,-ur,ur+l-um)则U是酉交阵，且ZUUU(勺,勺，色)=UhA=如avuA吆(勺,勺，色)=UhA=0UrarUran1oJ(mxn)1(5.1-5)(mxn)1其中R是厂阶非异上三角镇，R是rx(n-r)型的阵。记B=(R,R)(rxn)则BH=IU(hXr)(5.1-6)按上述作法，注意此时是列满秩的，可知酉交阵V(nxn),能使ArI(nxr)W丿其中是非异上三角镇。于是于是BV=(Ar,O)(rxn)而是非异下三角镇。Ar02,-2,.0是的非零特征值。证明:按酉交分解定理,有Umxn)V(nxn),使即故有A=U,1(0使即故有A=U

5、,1(00、3丿1(4o注意到：使H(4o注意到：使H阵，且正定，故有匕(厂X厂)v/vr=I,能使?”,=人.=她(扬巫，QF其中有显然有=D2其中有显然有=D2入n0(矿1)側:ypi(5.1-10)(5.1-11)于是于是BV=(Ar,O)(rxn)则由上式可知匕是厂阶酉交阵O由(5.1-11)式有(5.1-12)(U由(5.1-11)式有(5.1-12)(Ur0V0)1。爲乙=d令U2=于是于是BV=(Ar,O)(rxn)于是于是BV=(Ar,O)(rxn)则%各为加阶，兀阶酉交阵。取u=up2；v=vtK则有UHAV=U2则有UHAV=U2HUlHAVV2rurH。丿1Is于是于是B

6、V=(Ar,O)(rxn)urH/vi.o、,oo丿（证毕）(D0、（证毕）,00,通常称J石为人的正奇值。这个定理说明了：在酉空间中，任一矩阵都酉相抵于一-个实矩阵，其左上角为厂阶对角阵，厂为A的秩,且其对角元式A的正奇值。这个事实当然是引人注目的。顺便提一下,这些定理在欧式空间中也成立，读者仔细读过证明后，便会了解这句话的根据。那时把”H”换成”八就行了。5.2广义逆对广义逆的研究，大致是源于对方程组Ax=b的解的表示法而兴起。在一方程中，若AwC网且detAzO,有唯一解Abo但除此而外，就没有类似的表示法了，于是就能产生了：有解、无解、有无穷多解等的讨论。一般来说，力的型是行数与列数未

7、必一-致的，问题也就更显得复杂了。这里我们先来寻求当方程组Ax=b,AeCmxnxeCn,beCn有解时，是否有矩阵G,能将解表成Gb。在下一节中，再把解的含义推广，使得任一方程组都有“解”，然后在统一的观点下，将“解”表出。尽管近二三十年来，对广义逆的研究已经相当深入。出于应用上的需要，有各种广义逆，但是我们这里只着重讨论最主要而常见的一种f,至于其他一-些广义逆，我们将出一些于本章习题中，有兴趣的读者不妨对之作一点简单的研讨。定义(Penrose)AwC?则满足下列四个方程的f,称为A的广义逆或moore-Penrose逆。1)A4+A=A(5.2-1)2)AW+=M(5.2-2)3)(A

8、A+)h=AA+(5.2-3)4)(A+A)h=A+A(5.2-4)从定义中可以看到，若人是可逆阵(此时自然有m=n则A是满足这四个方程的，这就是说包括了A这个特例。(3)(4)两个方程，说明了要求AT和A都是H阵。在实空间中，自然就要求其成为实对称阵，把”H”换成”T”好了。首先要探讨的是：对任-A是否有满足定义的f存在。若有，又有多少？定理5.2.1满足Penrose方程的/T存在且唯一。证明:注意到存在性：AG,力有奇值分解，即存在酉交阵证明:注意到VH丿故有可知D+=DA+=V5+0、oo,(D(5.2-5)VHV0丫,00,UHU(D30、0丿VHDD+D0=Ad+0、00丿d+dd

9、故有可知D+=DA+=V5+0、oo,(D(5.2-5)VHV0丫,00,UHU(D30、0丿VHDD+D0=Ad+0、00丿d+dd+0=u=V(T丿VH=UHUHU(D3(T丿(D30、0丿0、0丿VHVHVUH=VrD+,0(D+0丫,00丿0、UHUH/(D0、VHV5+oH99UUH3o丿3丿(DD+07nixjnUH7(DD+07nixjnUH7=u(DH00、0丿UH=A4+同可证。唯一性：若矿也满足Penrose方程,B+=B+AB+=B+AA+AB+=B+(AA+)h(AB+)h=B+A+hAhB+hAh=B+A+h(AB+A)h=b+a+hah=BAA+)h=B+AA+=B

10、+AA+AA+=(B+A)h(A+A)hA+=AhB+hAhA+hA+=AhA+hA+=A+AA+故A+唯一。(证毕)证明了的存在唯一，似乎中和中的性质几乎-致罢？不然,f的性质与想象的很不一样，例如：若A=(0)Jxn注意到方程,可知A+=(0)(5.2-6)/nxm且除此之外，并无其他，这可是A没有的性质。又如：对A而言，若皆可逆，则(AB)=歹，然而对”而言，却没有这个性质，及时(才)+也不必等于(A+)2,看一个例子就清楚了。不难验证,有宀一不难验证,有宀一中0、2(-1,0丿A2=A由此可见中，0、211,0丿（忙中、）心1,0（忙（刊由此可见关于f具有的通常用到的性质，我们归结成下

11、列两个定理。定理5.2.2AeC,lxn,则(A+f=A(a+)h=(ah)+(3)(AA)+=rA+;eC,r=o二IIHoo(4)Ah=AhAA+=A+AAh(AHA)+=A+(AH)+A+=(AhA)+Ah=Ah(AAh)+=VhA+Uh,UhU=Im,VHV=InA+AB=A+ACAB=AC证明（7）各条，容易直接由Penrose方程得证，这里仅证(4)(6)(8)三条。ah=ah(a+)hah=Ah=A+AAh=AhAA=AhAALT(6)A+=A+AA+=(A+A)A+=Ah(A+)hA+=Ah(AAh)+=AAA+)h=AA+)hAh=(AhA)+Ah(8)A+AB=A+AC=A

12、A+AB=AA+AC=AB=ACAB=AC=A+AB=A+AC这个性质实际是关于的消去律，常常用到。（证毕）从Penrose方程中的（1）和（2）,容易看出:AA+=AA+(5.2-7)2(A+A)=A+A(5.2-8)可见和都是幕等阵，是投影算子，同时述有(I-AA+)2=I-AA+(5.2-9)(Z-A+A)2=I-A+A(5.2-10)也都是投影算子。自然要问它们各自是沿什么子空间投影的呢？为例，注意到AT是作用于空间C”的。由7?(A)=R(AA+A)cR(AA+)cR(A)故R(A)=R(AA+)(5.2-11)但Cm=R(A)R(A)y(5.2-12)而r（a）Y=k（ah）(5.

13、2-13)这是因为zeCn=Az6R(A)ygVzeCnnvy,Az=0=0故有AHy=O=yeK(AH)反之亦然，故有(5.2-13)式。由此,得Cm=R(A)R(A)y=R(AA+)K(Ah)(5.2-14)可见AA+是沿子空间W)投影到R(A)的投影算子。xeR(A)xeK(AH)xeR(AHxeR(A)xeK(AH)xeR(AH)xeK(A)(兀AA+x=I。(5.2-15)/XAA+x=1(5.2-16)R(A)=R(AA+)=R(AAh)(5.2-17)7?(A+)=/?(Ah)/?=(A+A)=(5.2-18)R(I-AA+)=K(AA+)=KAH)=K(f)=/?(A)+(5.

14、2-19)R(I-A+A)=K(A+A)=K(A)=)+(5.2-20)证明：(1)xG/?(/!)3yGCAy=x而Ay=AA+Ay=AA+x=x又xeK(AH)Ahx=0=(A+)hAhx=0n=0同样可证得(2)。已证R(A)=R(A4+)而RAA)=RAAHAAH)=RAAH)第一个等式是据定理5.2.2,(6),而第二个等式不过是R(A)=R(AA+)的特例。这就证明了(3)式。由有/?(A+)=/?A+(A+)+=R(A+A)又R(A+A)=R(心)=R(AH)=R(Ah(Ah)h)=R(AhA)这就证明了(4)式。至于(5),(6)两式，容易由(3),(4)推出。(证毕)在定理5

15、.2.1中，借用奇值分解，我们构造性地证明了的存在性。但是奇值分解的工作量不小，用起来不大方便。可是定理5.2.3中的R(A+)=R(AH)却启发了另外一个构造”的方法,或许用时要方便一些。定理5.2.4(1)AGCmxn；r(A)=rA+=(x(l),兀，,x(r),0,Oh”,Ar，Ar(),w,w(2)，肿)1其中卅,兀，卅)是&中)的一个基;泌,，,叶是K()的一个基。気0、(2)若A=“心0)1则A+=抵0/证明：(1)注意到第一列块矩阵是nxm型，而第二列是mxm型，故其积是nxm型的。又”(Ax,Ax，Ar，w，w，沙心)=(A+A/1,A+A?2)，-A+Ax(r),A+w(1

16、),A+vv(2)，-A+vv(/,_r)=(兀,x,，卅),o,0)因为，由定理5.2.3(2)有Ax=又由定理5.2.3有AA+wu)=0wu)gK(Ah)故A+wu)=A+AA+wu)=0wj)eKAh)所以只要证明Ar,Ar，Ar，淤),，尸)是C的一个基就好了。注意到Cm=R(A)K(AH)f所以只要证明:Ar,山,Ar是R(A)的一个基，也就是只要证明&在这组元上的表示法唯一就行了。ktAxg+k君gK(A)=/?(AW)+而肚+S+匕中)eK(Ah)故牌)+S+)e)A/?(Ah)+nk、=k?=-=kr=0这就证明了：A+=(x(l),兀，,卅),0,0)wxm(Ar(l),A

17、x，Ax?泌,肿)，W)一1(证毕)(证毕)例设A=(1A+I11丿Ax=AA+bAx=b(5.2-21)故AO是其解。当b工R(A)时，就谈不上是解，是否还有某种意义呢？下一节中再讨论这个问题。如果仅就表出=b的解而言，似乎无须用象Penrose方程这样比较严格的条件来规定广义逆，因为只要得到(5.2-21)式这种结果，只须Penrose方程中的第一个就行了。不错，确实如此。按某种需要，我们常常把满足Penrose方程中某几个方程的解，也称为广义逆。例如AS也可记为A(l,2,3,4)。同理，也可以有A(l,2),A(l,3)等等。由于的存在，所以这类广义逆的存在是不成问题的，但是未必唯一。

18、除此以外，还有其他的广义逆,我们在习题中，将列出一些，希望借此能使读者有些感性认识，对于有兴趣的读者，则希望能引起深入钻研的愿望。5.3方程组的最小二乘解上节中已经讨论过，若方程组Ax=bAeCmx,t当beR(A)时，AO是它的解；而当bR(A)时，没有通常意义的解，即在空间中，没有元兀，经A作用后得到像为b。这番含意，通常说成方程组是不相容的或矛炳的。在这个情况，可以记为VxeCAx-bd,然而可以提出，是否有兀，能使Ar最接近b呢?谈到接近程度这类问题，我们有凡属这个工具来度量，所以上述问题，可以译成：是否有x能使|Ar-州最小？习惯上用2-范数即欧氏范数来度量。定义方程组Ax=b；Ae

19、C,xz,若兀满足|Ax-Z?|?=niin|Ay-Z?|2;VyeCn(5.3_1)则称x为Ax=b的最小二乘解。在所有最小二乘解中，长度最小的解,称为极小最小二乘解。按此，当然可以理解为，若x满足VyeC”;|Ay-|Ar-址(5.3-2)则兀是最小二乘解。定义中未曾提及方程组的相容性，不过，显然是包括bwR(A)这种情况的，因为在通常意义下的解x,必有|心_地=0,又由于范数非负，所以是必须满足(5.3-1)或(5.32)的。问题倒是在于若bR(A),是否总有最小二乘解呢？倘若回答是肯定的，那么我们就可以把解的含义推广为：解，包含在通常意义下的解和最小二乘解，或者更简洁地说，解是指最小二

20、乘解。现在来探讨Ax=b；AeCw,xn；bwC,bR(A)是否总有最小二乘解。注意到Cm=R(A)R(A)=R(A)K(AH)(vR(A)1=K(AH)(5.3-3)故必存在bwR(A)；wK(A“)，使b=q+且vb”0=0(5.34)由此，3xeCn,Ax=b对这样的兀，有II做|L=II也-+)|L=|L(5.35)若yWC”，令y=兀+z贝I|Ay-bf=Ax-b+|Az+(Ax-b)Az+(Az)H(Ax-b)十吐+WII；因为(Ax-b)HAz=(Az)Ax-b)=zHAAx-b)=O.而Ax-b=Ax-(bl+b2)=b2eK(AH)这就是说，当取得兀，使Ax-beK(AH),则满足VyeC|Ay-fe|2|Ax-t|2反乙由b的直和分解的唯一性，可知，若|Ax-b|2为最小，贝IJ必有Ax-beK(AH)。于是，实际上已证明了下述定理：定理531方程组Ax=b,AgC,nxn,常有最小二乘解，兀为其