矩阵奇异值分解

1、 矩阵的奇异值分解在矩阵特征值矩阵的奇异值分解在矩阵特征值问题，最小二乘法问题及广义逆矩阵问题，最小二乘法问题及广义逆矩阵问题等有重要应用问题等有重要应用矩阵的等价标准型矩阵的等价标准型定理定理：设：设,0rCAnmr则存在则存在,nnnnmmCTCS使得使得000rISAT右式称为矩阵右式称为矩阵A A的等价标准型的等价标准型酉等价酉等价：设：设,nmCBA若存在若存在m m阶酉矩阵阶酉矩阵U U和和n n阶酉矩阵阶酉矩阵V V，使得，使得,BAVUH则称则称A A与与B B酉等价。酉等价。矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。引理引

2、理1 证明证明 设设 是是AHA的特征值，的特征值，x是相应的特征向量，是相应的特征向量，则则 AHAx= x由于由于AHA为为Hermite 矩阵，故矩阵，故 是实数。又是实数。又。的特征值均为非负实数与设HHnmAAAACA,0, 0)()(),(0 xxxxAxAxAxAxHHH同理可证同理可证AAH的特征值也是非负实数。的特征值也是非负实数。证明证明 设设x x是方程组是方程组A AH HAx=0Ax=0的非的非0 0解解，引理引理2 2 )()()(,ArankAArankAArankCAHHnmr则设mCAx0)(),(AxAxAxAxHH故故则由则由同解。与线性方程组因此00,A

3、xAAxH得得; 0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替换用,AAH对于对于Hermite 矩阵矩阵AHA， AAH，设设 AHA， AAH有有r个非个非0特征值，分别记为特征值，分别记为00121121nrrrrmriii, 2 , 1,则,nmrCA设即：即： AHA与与AAH非非0特征值相同，并且非零特特征值相同，并且非零特征值的个数为征值的个数为)(Arank奇异值的定义奇异值的定义值。的正奇异值，简称奇异为矩阵称Ariii),2, 1(0,121mrrHnmrAACA的特征值为且设说明：说明：A

4、的正奇异值个数恰等于的正奇异值个数恰等于 ，并且，并且A与与AH有相同的奇异值。有相同的奇异值。)(Arank则则酉酉等等价价与与设设证证明明,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有有相相同同的的奇奇异异值值。与与故故特特征征值值，是是酉酉相相似似的的，有有相相同同的的与与所所以以BABBAAHH定理定理 酉等价的矩阵有相同的奇异值酉等价的矩阵有相同的奇异值由由UBVACVCUnnmm使使存在酉矩阵存在酉矩阵,.) 1 (的奇异值分解的奇异值分解式称为矩阵式称为矩阵A的正奇异值，的正奇异值，是是设设ACArnmr,21，使使阶阶酉酉矩矩阵阵及及阶阶酉酉矩矩阵阵则则存存在在

5、VnUm) 1 (000000HHVUAAVU或或),(21diag其其中中称为矩阵称为矩阵A A的酉等价标准形的酉等价标准形. .000奇异值分解定理奇异值分解定理证明证明)2(,000)(2VAAVHH由于由于A AH HA A是是Hermite矩阵，存在矩阵，存在n n阶酉矩阵阶酉矩阵V,V,使使;),(2222212iirdiag其中其中,)(2121rnnrnrnrCVCVVVV记将矩阵将矩阵V V分块，分块，则有：则有：22122111AVAVAVAVAVAVAVAVHHHHHHHH 4111rnCAVU21212,)(000VVAAVVHHH 0)()()()(222221111

6、AVAVAVAVAVAVAVAVHHHHHH比较等式两端得比较等式两端得： 3,02AV从而有从而有设设为为酉酉矩矩阵阵。），（使使得得21UUU,011212AVUUUHH并并且且,4111111rHHHIAVAVUU）得得：由由（即即U U1 1的的r r个列是两两正交的单位向量，则个列是两两正交的单位向量，则,)(2rmmCU存存在在rmHIUU222121VVAUUAVUHHH于是于是22122111AVUAVUAVUAVUHHHH111 AVU02AV,012UUHrHIUU11001211UUUUHH000推论推论 在矩阵在矩阵A A的的奇异值分解奇异值分解A A= =UDVUDV

7、H H中，中，U U的列向量为的列向量为AAAAH H的特征向量，的特征向量， V V的列向量为的列向量为A AH HA A的特征向量的特征向量. .HHHHUDVUDVAA)(证明)0 , 0 ,()(212rHUdiagUDUAAHHHUUDVDUUDV2），（记nuuuU21niuuAAiiiH, 2 , 1,)(则说明：此定理仅是奇异值分解的必要条件，但说明：此定理仅是奇异值分解的必要条件，但不是充分条件。不是充分条件。11求矩阵求矩阵A AH HA A的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵V V; ;000)(2VAAVHH,),()(2121rnnrnCVCVVV

8、VrmCAVU1115 5 构造奇异值分解构造奇异值分解 44扩充扩充U U1 1为酉矩阵为酉矩阵U=(U=(U U1 1 , ,U U2 2) )33令令22记记奇异值分解方法奇异值分解方法11利用利用矩阵矩阵A AH HA A求解求解HVUA000例例1、求矩阵、求矩阵000110101A的奇异值分解的奇异值分解可求得可求得 的特征值为的特征值为211110101AAHAAH, 0, 1, 3321对应的特征向量依次为对应的特征向量依次为,2 , 1 , 11Tx ,0 , 1, 12Tx,1, 1 , 13Tx于是可得：于是可得：, 2rankA,1003令令,21VVV 其中其中322

9、1131,21,61xVxxV计算：计算：111AVU0021212121构造：构造：TU1 , 0 , 02则则1000212102121,21UUUA的奇异值分解为的奇异值分解为TVUA000010003奇异值分解方法奇异值分解方法2-2-利用矩阵利用矩阵AAAAH H求解求解11先求矩阵先求矩阵AAAAH H的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵U U; ;000)(2UAAUHH,),()(2121rmmrmCVCUUUUrnHCUAV11144扩充扩充V V1 1为酉矩阵为酉矩阵V=(V=(V V1 1 , ,V V2 2) )5 5 构造奇异值分解构造奇异值分解 22记记33令令HVUA000例例 求矩阵求矩阵A的奇异值分解的奇异值分解000021A利用矩阵利用矩阵AAH求解求解0, 5,5,5,0000000