奇异值分解及应用

1、定理定理：设：设,0rCAnmr则存在则存在,nnnnmmCTCS使得使得000rISAT右式称为矩阵右式称为矩阵A A的的等价标准型等价标准型酉等价酉等价：设：设,nmCBA若存在若存在m m阶酉矩阵阶酉矩阵U U和和n n阶酉矩阵阶酉矩阵V V，使得，使得,BAVUH则称则称A A与与B B酉等价酉等价。矩阵的奇异值分解矩阵的奇异值分解就是矩阵在就是矩阵在酉等价酉等价下的一种下的一种标准型标准型。第一节第一节 奇异值分解奇异值分解引理引理1 证明证明 设设 是是AHA的特征值，的特征值，x是相应的特征向量，是相应的特征向量，则则 AHAx= x由于由于AHA为为Hermite 矩阵，故矩阵

2、，故 是实数。又是实数。又。的特征值均为非负实数与设HHnmAAAACA,0, 0)()(),(0 xxxxAxAxAxAxHHH同理可证同理可证AAH的特征值也是非负实数。的特征值也是非负实数。证明证明 设设x x是方程组是方程组A AH HAx=0Ax=0的非的非0 0解解，引理引理2 2 )()()(,ArankAArankAArankCAHHnmr则设mCAx0)(),(AxAxAxAxHH故故则由则由同解。与线性方程组因此00,AxAAxH得得; 0Ax的解；的解也是反之，00AxAAxH)()()(HHAArankAArankArank)()(AArankArankH得替换用,AA

3、H对于Hermite 矩阵AHA， AAH，设 AHA， AAH有r个非0特征值，分别记为00121121nrrmrrriii, 2 , 1,则,nmrCA设即： AHA与AAH非0特征值相同，并且非零特征值的个数为)(Arank奇异值的定义奇异值的定义简称奇异值的正奇异值，为矩阵称Ariii, 1,0,121mrrHnmrAACA的特征值为且设说明：说明：A的正奇异值个数等于的正奇异值个数等于 ，并且，并且A与与AH有相同的奇有相同的奇异值。异值。)(Arank则则酉酉等等价价与与设设证证明明,BACBAnmr,)(BVBVUBVUBVAAHHHH）（有相同的奇异值。与故征值，是酉相似的，有

4、相同特与所以BABBAAHH定理定理 酉等价酉等价的矩阵有的矩阵有相同的奇异值相同的奇异值由由UBVACVCUnnmm使使存在酉矩阵存在酉矩阵,奇异值分解定理奇异值分解定理 设设A是秩为是秩为(0)r r 的的mn则存在则存在 阶酉矩阵阶酉矩阵矩阵矩阵, ,mU与与 阶酉矩阵阶酉矩阵,V使得使得HOU AVSOO 其中其中12diag(,)r (1,2, )ir10r为矩阵为矩阵A的全部奇异值的全部奇异值. .n证明证明 设矩阵 的特征值为HA A1210rrn 则存在n阶酉矩阵 ，使得 V12HH()n OVA A VOO将 分块为V12()VVV其中 ， 分别是 的前 r 列与后 列.1V

5、2VVnr并改写式为2H OAAVVOO则有H2T112， A AVVA AVO由的第一式可得HH21 H11111() ()rI， 或者 V A AVAVAV由的第二式可得H222()() 或 者A VA VOA VO令 ，则 ，即 的r个列是两两正交的单位向量.记111 UAV11HrIU U1U112(,)rUuuu因此可将 扩充成标准正交基，记增添的向量为 ，并构造矩阵则是m阶正交矩阵,且有于是可得12,ruuu1,rmuu21(,)rmUuu12121( ,) ( , , ,)rrmUU Uu uu uuH1121 HrI，U UU UOHHH1121H2()()， OUU AVUA

6、VAVUOOOUHHHH1 1 1222rrr OAUVuvu vu vOO称上式为矩阵A的奇异值分解.推论推论 在矩阵在矩阵A A的的奇异值分解奇异值分解A A= =UDVUDVH H中，中，U U的列向量为的列向量为AAAAH H的特征向量，的特征向量， V V的列向量为的列向量为A AH HA A的特征向量的特征向量. .HHHHUDVUDVAA)(证明)0 , 0 ,()(212rHUdiagUDUAAHHHUUDVDUUDV2），（记nuuuU21niuuAAiiiH, 2 , 1,)(则11求矩阵求矩阵A AH HA A的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵V V

7、; ;000)(2VAAVHH,),()(2121rnnrnCVCVVVVrmCAVU1115 5 构造奇异值分解构造奇异值分解 44扩充扩充U U1 1为酉矩阵为酉矩阵U=(U=(U U1 1 , ,U U2 2) )33令令22记记奇异值分解方法奇异值分解方法1 1利用矩阵利用矩阵A AH HA A求解求解HVUA000例例1、求矩阵、求矩阵000110101A的奇异值分解的奇异值分解可求得可求得 的特征值为的特征值为211110101AAHAAH, 0, 1, 3321对应的特征向量依次为对应的特征向量依次为,2 , 1 , 11Tx ,0 , 1, 12Tx,1, 1 , 13Tx于是

8、可得：于是可得：, 2rankA,1003令令,21VVV 其中其中3221131,21,61xVxxV计算：计算：111AVU0021212121构造：构造：TU1 , 0 , 02则则1000212102121,21UUUA的奇异值分解为的奇异值分解为TVUA000010003奇异值分解方法奇异值分解方法2-2-利用矩阵利用矩阵AAAAH H求解求解11先求矩阵先求矩阵AAAAH H的酉相似对角矩阵及酉相似矩阵的酉相似对角矩阵及酉相似矩阵U U; ;000)(2UAAUHH,),()(2121rmmrmCVCUUUUrnHCUAV11144扩充扩充V V1 1为酉矩阵为酉矩阵V=(V=(V

9、 V1 1 , ,V V2 2) )5 5 构造奇异值分解构造奇异值分解 22记记33令令HVUA000例例 求矩阵求矩阵A的奇异值分解的奇异值分解000021A利用矩阵利用矩阵AAH求解求解0, 5,5,5,0000000053211的特征值HHAAAA;100,010,001321xxx对应的特征向量分别为）（）（取32211321,xxUxUxxxU,510010020015251111UAVH令515252512151522),(,VVVV则取51525251000005100010001HUAVA因此第二节第二节 奇异值分解的性质与应用奇异值分解的性质与应用1.1.奇异值分解可以降维

10、奇异值分解可以降维 A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 , 则通过奇异值分解可以降低A的维数.可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.1mnrmnnmmnrmnr2. 奇异值对矩阵的扰动不敏感奇异值对矩阵的扰动不敏感 特征值对矩阵的扰动敏感. 在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值 和有i i 2iiAB 3. 3. 奇异值的比例不变性奇异值的比例不变性, ,即即 的奇异值是的奇异值是A的的奇异值的奇异值的 倍倍. .A 4.4.奇异值的旋转不

11、变性奇异值的旋转不变性. .即若即若P是正交阵，是正交阵，PA的的奇异值与奇异值与A的奇异值相同的奇异值相同. . 奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.5. 容易得到矩阵A的秩为 的一个最佳逼近矩阵. krkA是矩阵的加权和，其中权系数按递减排列：TTT1 1 122 2rrrAuvu vuv120r假设推荐系统中有用户集合有6个用户，即U=u1,u2,u3,u4,u5,u6，项目（物品）集合有7个项目，即V=v1,v2,v3,v4,v5,v6,v7，用户对项目的评分结合为R，用户对项目的评分范围是0, 5，如图所示。推荐系统推荐系统推荐系统的目