第四章矩阵分解

第四章矩阵分解矩阵分析第四章矩阵分解§4.1:矩阵的满秩分解§4.2:矩阵的正交三角分解§4.3:矩阵的奇异值分解§4.4:矩阵的极分解§4.5:矩阵的谱分解矩阵分解前言矩阵分解定义:将一个已知矩阵表示为另一些较为简单或较为熟悉的矩阵的积(或和)的过程称为矩阵分解.例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使A=Udiag(λ1,…,λn)U*,其中λ1,…,λn为A的所有特征值的任一排列.(2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存在唯一正定阵B使A=BB.矩阵分解意义:有利于研究已知的矩阵.例如,利用正定阵A的平方根B为正定阵可证:对任意Hermite阵H,AH或HA都有实特征值.1(AH～(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n)2初等变换与初等矩阵(p73)三类初等变换:(行(列)变换←→左(右)乘)(1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左乘A;(2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵P(i(k))=diag(1,…,1,k,1,…,1)左乘A.(3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第三类初等矩阵P(i,j(k)).P(i,j)=1?????????????????10111011初等变换与初等矩阵举例1??147??147??01??258?=?369?;???????10??369??258????????147??1??174??258??01?=?285????????369??10??396???????1??147??147???????0.2??258?=?0.411.6?;??1??369??369???????147??1??147/9????????258??1?=?258/9??369??1/9??361???????----i----j1?P(i,j(k))=1??????????1k1---???---???1?ij31??123??123?????????41??456?=?0?3?6?;?1??789??789???????3??120??123??1???????456??1?=?45?6??789??1??78?12???????4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0).将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价于左(右)乘A以可逆矩阵Pr…P1(P1…Pr).可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A的行(列)的任意排列;可适当选第三类初等矩阵P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0;可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非零(i,i)元变为1.存在初等矩阵的乘积P和Q,使PAQ=,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为Er??0?1??D??=??0??????11*****??*?*??*?????一般地,?A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的(1,1)元≠0.再用第二类初等矩阵左乘可使a11=1;最后用若干第三类初等矩阵左乘可使A的第一列=e1.因前2列线性无关,故新的第2列与e1线性无关且≠0,故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2.….可使A的第r列=er.此时空白处必为0元.安徽大学章权兵1矩阵分析§4.1:矩阵的满秩分解1?A=??2?0?0000??1??1?,没有P∈C33×3使PA=???0??0000??1??1??00??0??0010??1??1?=??20??0??0100??0?0??1.0??定义:对任意矩阵A∈Crm×n,A=BC称为A的一个满秩分解,如果B∈Crm×r,C∈Crr×n.例:1??1?0?1212313??1??2?=?1?1??0??1???12???01????14???=?1?11?1???0012???13???01????10115???1??1?AP(2,3)=??2?0?100??100??10.50???????PAQ=P(2,1(0.5))AP(2,3)=?0.510???210?=?010??001??000??000???????m=3,n=4,r=2.注:可能存在不仅是常数差别的两个实质不同的满秩分解.矩阵满秩分解的存在定理定理4.1.1:任意矩阵A∈Crm×n,都有满秩分解:A=BC,B∈Crm×r,C∈Crr×n.证:由初等矩阵性质知:存在可逆阵P∈Cmm×m和Q∈Cnn×n,使PAQ=从而AEr??0?0??Er?=?0??0???Er?-1??(Er=P?0????(Er?0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:EPA=?r?0D??Er?=(Er0??0????D)EA=P?1?r?0D?Er??1??=P??(Er0??0?D)=BC其中0)E?B=P?1?r?;C=(Er?0?D)Q-10)=BC,其中B=P-1?Er??0?,C=???(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵,B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形:要求PA的前r列化为(Er,0)T,故有B=P-1(Er,0)T?PB=(Er,0)T=PA1,其中,A1为A前r列组成的子矩阵,由此推出B=A1.(参看P.183-184定理的证明及例4.1.1,例4.1.2)对下例,A的第1,3两列也线性无关.令A1为A第1,3两列组成的子矩阵,并将A的第1,3两列化为(E2,0)T,C为所得矩阵的前2行.则不难看出也有A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A=?1?1123??232?为例作说明如下:?011?1???①用初等行变换把A前两列变为(E20)T1123??1123??1014??11??????????1014??1232?→?011?1?→?011?1?=?12??011?1???011?1??011?1??0000??01??????????a1a2②用初等行变换把A的1,3两列变为(E20)T?1123??112????1232?→?011?011?1??011???3??1?105??12???????1?105??1?→?011?1?=?13???011?1??1??0000??01???????a1a3安徽大学章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分解的因式矩阵之间存在密切关系(见定理4.1.2).A∈Crm×n?r=rankA≤min{m,n}A的秩等于它的行秩,列秩或行列式秩.A的行(列)秩是它的行(列)最大线性无关组的行(列)数;A的行列式秩是其非0子式的最大阶数.A=BC?rankA≤rankB且rankA≤rankCrankA=rankA*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有rank(AA*)=rank(A*A)=rankA*=rankA=r.证:因方程组Ax=0的解空间维数等于n-rankA,(*)故为了证明rank(A*A)=rankA只须证明下列两个方程组有相同的解空间即可Ax=0⑴⑵A*Ax=0显然,x满足⑴?x满足⑵.x满足⑵?x*A*Ax=0,即(Ax,Ax)=0?Ax=0,即x满足⑴.注:利用A的任意性以A*代A由(*)得rankA=rankA*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n的满秩分解,则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1.证:若A=BC=B1C1,则BCC*=B1C1C*.由p.190引理4.3.1知:rank(CC*)=rankC=r,从而CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1.由上式推出r≥rank(C1C*)≥rankB=r,即rank(C1C*)=r.进而θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ.同理可证C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r.因此,BC=B1C1?B1θθ′C1=B1C1?B1*B1θθ′C1C1*=B1*B1C1C1*引理4.3.1?θθ′=E?θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解,则A=BC是A的满秩分解,当且仅当?θ∈Crr×r,B=B1θ,C=θ-1C1.证:必要性由定理4.1.2给出.充分性.若存在θ使(*)成立,则B,C给出A的满秩分解：BC=B1C1=A.(*)§4.2:矩阵的正交三角分解满秩矩阵的分解行(列)满秩矩阵的分解一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中U∈Un×n,R(L)为正线上(或下)三角矩阵.证:(存在性)令A=(α1,…,αn),则α1,…,αn线性无关,用Schmidt方法从α1,…,αn得标准正交组ν1,…,νn满足α?α1=C11ν11αn2=C21ν1+C22ν22i,Cii=‖βi‖>0n=Cn1ν+Cn2ν+...+CnnνC21C22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.C11?A=(α1,...,αn)=(ν1,...,νn)?????Cn1??Cn2???Cnn??=UR,安徽大学章权兵3矩阵分析β1=α1,β2=α2-((α2,β1)/(β1,β1))β1,β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2,...νi=(1/‖βi‖)βi,βi=‖βi‖νi,i=1,2,…α1=β1=‖β1‖ν1;C11=‖β1‖>0α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中U∈Un×n,R(L)为正线上三角矩阵.(唯一性)设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′.则有UR=U′R′?U′*U=R′R-1=W矩阵W=U′*U∈Un×n,且W=R′R-1仍然是正线上三角矩阵.(正线上三角阵的逆和积仍是正线上三角阵)于是,由p.162的引理3.9.1知W=E.即(U′)*U=R′R-1=E.由此式立即推出:U=U′E=U′&R′=ER=R.得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3;...C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=LU,其中U∈Un×n,L为正线下三角矩阵.证:?A∈Cnn×n?AT∈Cnn×n.存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R.于是A=(AT)T=(U′R)T=RTU′T=LU,其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:?A∈Crm×r(Crr×n)都可唯一地分解为A=UR(A=LU),其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵.(定理4.2.1为m=n=r时的特例)证:(存在性)令A=(α1,…,αr),则α1,…,αr线性无关,用Schmidt方法求得标正组ν1,…,νr满足α?αr2α1=C11ν1=C21ν1+C22ν22i,Cii>0.r=Cr1ν1+Cr2ν+...+Crrν因此A=UR,其中U=(ν1,…,νr)∈Urm×r,R=C11?????C21C22Cr1??Cr2???Crr?定理4.2.2唯一性证明定理4.2.2:?A∈Crm×r都可唯一地分解为A=UR,其中U∈Urm×r,R为r阶正线上三角矩阵.(唯一性)设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r使A=U′R′.则有R*R=A*A=(R′)*R′,于是由定理3.9.1⑹,A*A是正定Hermite矩阵.故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵.因此必有R=R′.进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:?A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r,U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵.证:由矩阵的满秩分解知:存在列满秩矩阵B和行满秩矩阵C使A=BC.存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1.存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2.从而A=U1R1L2U2满足条件.安徽大学章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组Ax=b(*)?2?1?1?其中??3????1A=?1??2?11?1?101??0?,b=?2????1????.???§4.3:矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有rank(AA*)=rank(A*A)=rankA*=rankA=r.引理4.3.2:?A∈Cm×n,AA*∈Cm×m与A*A∈Cn×n均为半正定Hermite矩阵.证:由(A*A)*=A*A和?x∈Cn,x*A*Ax=(Ax,Ax)≥0得证:A*A∈Cn×n为半正定Hermite矩阵.同理可证:AA*∈Cm×m为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关,用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示.则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3于是R=U*A,代入(*)式得URx=b?Rx=U*b?x=R-1U*b最后求得x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1:?A∈Cm×n,AA*∈Cm×m与A*A∈Cn×n的非零特征值(正特征值)全同.证法1:不难验证下列矩阵等式:AA*0??EmA??AA*?*???=??A0??En??A*?????因S=???Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值:AA*x=λx,λ≠0,x≠0则A*x≠0,A*A(A*x)=λ(A*x)所以λ也是A*A的非零特征值.同理可证：A*A的任一非零特征值也是AA*的非零特征值.AA*A??EmA??0?=???En??A*A*A??????0??A*A??0??10??AA*0?A??0?0?=S?*???S~?*???*?*?En?可逆,故?A*0??AAA??AAA????*)=0与det(λE-A*A)=0有相同非零解,从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:?A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n的正特征值的算术平方根称为A的正奇异值(简称奇异值,共有r个记为α1,…,αr).例:求A=??1?0??10??1?∈C0??3×22正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模.证:设A为正规矩阵,则有U∈Un×n使A=Udiag(λ1,…,λn)U*A*=Udiag(λ1,...,λn)U*从而AA*=Udiag(|λ1|2,…,|λn|2)U*得证A的正奇异值是A的非零特征值的模.的奇异值.解:A*A=??1?21??1??,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2均为正,A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2.例4.3.1:见P.191.安徽大学章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n使B=SAT,则称B与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价.不难证明Cm×n中的等价或酉等价关系R是等价关系.?A∈Cm×n,ARA：A=EmAEn(ARB?BRA)：A=UBV?B=U*AV*,U*∈Um×m,V*∈Un×n(ARB&BRC?ARC)：A=UBV&B=U′CV′?A=UU′CV′V注1:A与B酉等价当且仅当它们有相同的奇异值.注2:?A∈Cm×n的酉等价类中有一个最简单形状的矩阵(见定理4.3.3).(A∈Crm×n等价于diag(Er,0)=PAQ)奇异值分解定理1定理4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值;?=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使U*AV=?0?0??=D∈Cm×nr0???(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵.(A=UDV*称为A的奇异值分解式)证:因AA*为m阶半正定矩阵,故有U∈Um×m使20??0???分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)=?0?对角阵次酉阵奇异值分解定理1续2??0?U1*??U1*AA*U1U1*AA*U2?0??U1*???=?*?AA*(U1,U2)=?*?(AA*U1,AA*U2)=?**U2?0??U2???U2AA*U1U2AA*U2?奇异值分解定理1续令V1=(v1,…,vr),则v1,…,vr为标准正交组.将此标正组扩大为Cn的标正基:v1,…,vr,vr+1,…,vn,令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn).易见0=V1*V2=?-1U1*AV2?U1*AV2=0综合以上得U*AVU1*AV2??U*??U*AV=?1*?A(V1,V2)=?1*1?UAVU*AV??U?22??21?2??U*AA*U1??1=?1?0?0???2??1?=?0??0??0???0??=??0??00????比较(1,1)块得?2=U1*AA*U1比较(2,2)块得0=U2*AA*U2=(U2*A)(U2*A)*?U2*A=0.(?M∈Cm×n,MM*=0?0=tr(MM*)=Σ2i,j|mij|i,j,mij=0?M=0)令V1=A*U1?-1∈Cn×r则V1*V1=?-1U1*AA*U1?-1=?-1?2?-1=E?V1∈Urn×r奇异值分解定理2定理4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值;?=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r使A=U1ΔV1.证:由定理4.3.3直接推出A=U??0?00??V??*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法.(U(V)是使AA*(A*A)酉相似对角化的变换矩阵)(2)矩阵U,V的列分别是AA*,A*A的对应特征向量.证:只证U(类似可证V).U*AA*U=diag(λ1,…,λm),λi为AA*的特征值.令U=(u1,…,um),则(AA*u1,…,AA*um)=AA*(u1,…,um)=(u1,…,um)diag(λ1,…,λm)=(λ1u1,…,λmum)??i,AA*ui=λiuiA*A=VD*U*UDV*=Vdiag(λ1,…,λm)V*??i,A*Avi=λivi=(U1,U2)??0?00V1*??*??V??2V*?=(U1?,0)?1*?=U1?V1*?V??2?安徽大学章权兵6矩阵分析奇异值分解例1例4.3.1:求A=1??0?0?2??0?0??奇异值分解例2例:求A=解:AA*=1??2?000??0??的奇异值分解式.的奇异值分解式.解:AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5).U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3.V1=A*U1?-1=??1?200?1?0?????0??0????0?1??2?2?*?4?,σ(AA)={5,0},r=1,Δ=(√5).?U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)TV1=A*U1?-1=?00??1?2???0???0???1525()=15151????2???,V=151??2?2??1??()=15151??0?0?2??1???1???0???=?0??2?0????0????所以A的奇异值分解式是A=UDV*=?0?0?1?0100??5?0??0?1??0??0???0??0???15?251251?????=?0?5??0???(5)(1525)=U1V1*所以A的奇异值分解式是?15*=?A