矩阵上的正规矩阵和奇异值

矩阵上的正规矩阵和奇异值

1非负实值函数矩阵acnn.a的配置。A*A=I,则称A是酉矩阵;如果A*=A,则称A是Hermite矩阵;如果A*A=AA*,则称A是正规矩阵.显然,酉矩阵和Hermite矩阵都是正规矩阵.定理1(Schur)设矩阵A∈Cn×n.则存在酉矩阵U,使得U*AU=T,其中,T是上三角矩阵;而且适当选取U,可使T的对角元素按任意指定的顺序排列.推论1设矩阵A∈Cn×n.则(ⅰ)A是正规矩阵的充分必要条件是存在酉矩阵U,使得U*AU=diag(λ1,λ2,…,λn);(ⅱ)A是Hermite矩阵的充分必要条件是存在酉矩阵U和实对角矩阵Λ,使得U*AU=Λ.定义1设A∈Cn×n.A*A的特征值的非负平方根称为A的奇异值,A的奇异值全体记作σ(A).定理2(奇异值分解)设矩阵A∈Cn×n,rank(A)=k.则存在酉矩阵U和V,使得A=U(Σk000)V*,A=U(Σk000)V∗,其中Σk=diag(σ1,…,σk)(σ1≥…≥σk>0)为A的非零奇异值.因此,Σk由A唯一确定.定义2如果定义在Cn×n上的一个非负实值函数‖·‖,对任意的A,B∈Cn×n和α∈C都有(ⅰ)正定性:若A≠0,则‖A‖>0;(ⅱ)齐次性:‖αA‖=|α|‖A‖;(ⅲ)三角不等式:‖A+B‖≤‖A‖+‖B‖;(ⅳ)相容性:‖AB‖≤‖A‖‖B‖.则称‖·‖为Cn×n上的矩阵范数.一个非常重要的矩阵范数就是谱范数∥A∥2≡max∥x∥2=1∥Ax∥2=σ1,∥A∥2≡max∥x∥2=1∥Ax∥2=σ1,其中,σ1表示A的最大奇异值.定义3设矩阵A∈Cn×n,A的特征值的全体记作λ(A).则称ρ(A)≡max{|λ|:λ∈λ(A)}为矩阵A的谱半径.定理3设矩阵A∈Cn×n.则有(ⅰ)对Cn×n上的任一矩阵范数‖·‖,有ρ(A)≤‖A‖;(ⅱ)对于任意给定的ε>0,存在Cn×n上的矩阵范数‖·‖,使得ρ(A)≤‖A‖≤ρ(A)+ε.定理4(Weyl)设矩阵A,B∈Cn×n,都是Hermite矩阵,它们的特征值分别是λ1≥λ2≥…≥λn,μ1≥μ2≥…≥μn,那么,|μi-λi|≤‖B-A‖2,i=1,2,…,n.推论2设阵A,B∈Cn×n的奇异值分别是σ1≥σ2≥…≥σn,τ1≥τ2≥…≥τn≥0,那么,|τi-σi|≤‖B-A‖2,i=1,2,…,n.2特定矩阵性质1若A∈Cn×n是正规矩阵,则A的奇异值满足σi(A)=|λi(A)|,i=1,2,…,n.证明由推论1知,存在酉矩阵U,使得U*AU=Λ=diag(λ1,λ2,…,λn)(1)其中,λ1,λ2,…,λn是A的n个特征值.上式取共轭转置得U*A*U=Λ*=diag(ˉλ1,ˉλ2,⋯,ˉλn),U∗A∗U=Λ∗=diag(λ¯1,λ¯2,⋯,λ¯n),从而,所以,λi(A*A)=|λi|2,i=1,2,…,n.σi(A)=|λi|,i=1,2,…,n.由性质1易知,对于正规矩阵,其谱范数等于谱半径.需要指出,对于一般矩阵,奇异值与特征值之间的关系就不是这么简单了.下面考察几个简单例子.例1设,则λ1(A)=1,λ2(A)=0,A*A=(0011)(0101)=(0002),所以,σ1(A)=√2‚σ2(A)=0.说明一般矩阵的奇异值与其特征值的模不相同(对其任何排列),谱范数不等于谱半径.例2设,则λ1(A)=1,λ2(A)=0,A*A=(00k1)(0k01)=(000k2+1),σ1(A)=√k2+1‚σ2(A)=0.所以,ρ(A)=1,∥A∥2=√k2+1.让k趋于无穷大,可知定理3的(ⅰ)中的不等号可以严格成立,并且对任意充分大的正常数c,存在矩阵A,使得‖A‖2≥cρ(A).这说明我们不能通过特征值的有界性来判定矩阵序列的有界性.下面给出一个类似于例2的非奇异矩阵的例子.例3设,则λ1(A)=λ2(A)=1,A*A=(10k1)(1k01)=(1kkk2+1),由特征方程解得δ1=12k2+2+√k2(k2+4),δ2=1δ1.所以,当k→∞时,σ1(A)=√δ1→+∞,σ2(A)=√δ2→0,性质2设矩阵A∈Cn×n非奇异,A的奇异值为σ1≥σ2≥…≥σn>0.则A-1的奇异值满足1σn≥1σn-1≥⋯≥1σ1>0.特别的有∥A-1∥2=1σn.证明由奇异值分解定理可知,存在酉矩阵U和V,使得A=Udiag(σ1,σ2,…,σn)V*,则A-1=(V*)-1diag(σ1,σ2,⋯,σn)-1U-1=(V-1)*diag(1σ1,1σ2,⋯,1σn)U-1,且V-1和U-1仍然是酉矩阵.所以,A-1的奇异值为1σ1,1σ2,⋯,1σn,显然,1σn≥1σn-1≥⋯≥1σ1>0.所以,∥A-1∥2=1σn.3kk时ak非变异的性质在最优化理论中经常要讨论矩阵序列(例如Jacobian矩阵和Hessian矩阵)的极限性质.性质3设A,A(k)∈Rn×n,k=1,2,…,且满足limk→∞∥A(k)-A∥2=0,则下面结论成立:(ⅰ)若A非奇异,那么对充分大的k,有{A(k)}非奇异,且{(A(k))-1}有界;(ⅱ)若{A(k)}均非奇异,且‖(A(k))-1‖2≤c,c>0为常数,那么A必非奇异,且‖A-1‖2≤c.证明(ⅰ)设A的奇异值为σ1≥σ2≥…≥σn,由A非奇异可知σn>0.设A(k)的奇异值为σ(k)1≥σ(k)2≥…≥σ(k)n,k=1,2,…,由推论2可知|σ(k)i-σi|≤‖A(k)-A‖2,i=1,2,…,n.在上式两边令k→∞取极限得limk→∞σ(k)i=σi,i=1,2,⋯,n.(2)故存在正整数K,使得当k≥K时,有|σ(k)i-σi|≤σn2,i=1,2,⋯,n.所以,σ(k)i≥σi-σn2≥σn2>0,i=1,2,⋯,n.因此,当k≥K时,A(k)非奇异,且由性质2得∥(A(k))-1∥2=1σ(k)n≤2σn.(ⅱ)设A(k)的奇异值σ(k)1≥σ(k)2≥…≥σ(k)n,由A(k)非奇异知σ(k)n>0(k=1,