奇异值分解与主成分分析

1、数值实验03：奇异值分解与主成分分析主成分分析，也简称为PCA。它是一种对数据进行分析的技术，属于多元 统计分析的范畴，最重要的应用是对原有数据进行简化。这种方法可以有效的 找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降 维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制， 可以方便地应用于许多实际课题。基本问题1、从代数的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空 间，或者说它是线性变换Z=PX，而新的基要怎样揭示原有的数据间的关系？PCA 适用的前提条件是什么？答：主成分分析在统计学中指的是一种简化数据集的技术，是一个线性变换。它

2、把数据变换到一个新的坐标系中，使得任何数据投影的第一大方差在第一个坐标 （称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。主 成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。 这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能保留住 数据的最重要方面。PCA适用的前提条件为尽量不改变数据特性：（1）满足线性要求。由于PCA的目标是使用另一组新的基去重新描述得到的数 据空间，它是线性变换Z=PX，这使得它能进行的主元分析之间的关系也 是线性的。（2）符合正态分布或指数分布。如果数据不满足正态分布或指数分布，方差和 协方差就不能很好地反映噪

3、声和冗余，PCA将失效。（3）本身具有较高的信噪比。在进行数据处理时把具有较高方差的一维向量当 作主元，方差较小的当作噪声，这样可以很方便的取出数据中的主要成分， 去除次要部分的噪声。主要成分能够很好的还原数据的信息。（4）主元正交。主元正交能够使用一系列的线性变换对数据进行处理，提高PCA的性能及效率。2、对于一组具有m个观测变量，n个采样点的数据X,将每个观测变量的采样值写为行向量，可以得到一个mx n的矩阵X =（七,气,L , x ）t，这m个观测变量的 12m协方差矩阵如下：八 1C =XXTx n 1证明协方差矩阵是m阶的对称半正定矩阵。为什么该矩阵对角线上的元素对应的 是观测变量

4、的方差？答：因为 X n-I* t，而 Gj = X * Xjj,勺=写* Xjj，所以，CX为对称矩阵。对CX求特征值，由于X矩阵和它的转置矩阵的特征值相等， 设为入。所以CX矩阵的特征值为入220。所以该矩阵为半正定矩阵。综上所述， 矩阵cx为对称半正定矩阵，主对角元素是观测变量的方差。3、对于新定义的Z=PX，推导该变量的协方差矩阵Cz与Cx的关系。答：寻找一组正交基组成矩阵p，z=px，使得cz为对角矩阵。则有II111Cz = yZZT = 7PX（PX）T = = PXXTpT = PCXPT所以，七=实验问题4、对矩阵X进行奇异值分解结果如何？它与CX的特征值分解有何关系？讨论数

5、 据的中心化与归一化对计算结果的影响。答：对矩阵X进行奇异值分解，将X分解成三个矩阵：其中U是m*m的矩阵，V是n*n矩阵，A是m*n矩阵。U是矩阵XXt的特征值矩阵，V是矩阵XtX的特征值矩阵。A是伪对角矩阵，对角线上的值就是奇异值。Cx矩阵的特征值乘上（n-1）等于X矩阵特征值的平方。Cx矩阵的特征向量和X 矩阵分解出来的U矩阵的列向量线性相关。中心化与归一化: 中心化：每个维度数据都减去该维度数据的平均值;归一化：每个维度数据都除以该维度数据的标准差。中心化和归一化也称为数据的标准化。数据标准化处理主要包括数据同趋化处理 和无量纲化处理两个方面。原始数据通过标准化处理后，它们之间的可比性

6、增强、 影响因素减少，从而更利于分析。5、随机生成若十个的矩阵X，分别计算矩阵X的奇异值分解与矩阵CX的特征值 分解，它们有何关系？分析和关注数据的中心化与归一化对计算结果产生的差 异。答： 设矩阵X为原矩阵，矩阵B为PCA分解后得到的酉矩阵，矩阵C为PCA分解后得 到的对角矩阵，矩阵U为SVD分解后的左矩阵，矩阵V为SVD分解后的右矩阵， 矩阵S为SVD分解后中间的对角矩阵。第一组数据:X =6227586703353571C蒐23.333333333333322.33333333333332126.666666666666722.3333333333333343230213232.6666

7、6666666672626.6666666666667302641.3333333333333B = 0.411786479069834-0.292084005692979-0.853173755189085-0.1311997436360580.5271317727355930.3773760987778180.236520081252328-0.7237248271327010.4963008950263320.578830945694059-0.05772348176911890.6444440686013290.553398058746110-0.6612329014776110.46

8、13250418884680.209047469025914029606681826180 ,069260腌的鸵 1699 ,0-890662990929 *0-I989g09I62S9 *026299218698626 *0-Zll崩歼96986元9CT0 92906S902Sg08gg0 ,0-/81091881 ,0096261829029090,08I0299g9IS2000g ,0-歼河计l脱崩崩9Z ,026086216086699 *06gS0I900869I2I,09g2099gg6I99S92 ,0662020209991 *0-9196092106109 *0 = 9299

9、9999999999 Lf2999999999999跳9ggggggggggggg tl91ggggggggggggg 驱2999999999999 ,g 既能既既既能 tl 2999999999999,99I ggggggggggggg 号歼gXI9II6ffI9g8668 = X062282622229*100gSI0999g2229S9 T003fW?-W000 I69909SIg00g ,90000浙6 浙 99ZZ9Zl2l=二 S169206920602*069888109219*0119盈团067源 199 P0II9289086gg99 ,0-6案10929顷歼歼9 P96II

10、692I8gS2290 ,0-690699608829 ,0-Sgg9S096800g96 *0-ZlZZXlZLZZL ,0-ZZ源奖1200空9008I822286092g22g ,0-g699g2S22IgI2S9 *0-8909g9g266IIgI ,0-98068I992g2Ig98 ,0-08626990080262 ,086906298211 ,0-=二 A61 奖 20692929 既0I98092gI68Sg ,0-8gg6S89029869 *0-808g8299988S *0-719 弘 1691E6 歼 6028901099219908*006Z9Z6Z元忠歼690 *

11、088088gS6S069Ig ,0-gg289II222gg89 ,0-26681109621 *0006既l奖言9弱89顷0-LZZLLZL *0-g/296926869Ig ,0弱跳9府9元99跳0-19861616982602 ,019099169888 *000620I2SI0S02gIf18122269291999 ,0-=0000二 n22008IgI29I09 ,0-9006I688I98m ,0-团舞跳团了为舞轮,0I2828209809*00008811062009*91 = 3g90g0IS926669 *080 口赤盈 1912沛0-云元的歼29699E ,0崩l四跳l

12、招6丸沛P-四的8质鸵空9沈0921089689189 ,08262992020289 *096g829S229IS89g ,08989601622 *06192226099918 *0-98212901102 ,0-gS0g99I09898I -0 = 9沈 2999999999999 8 2999999999999,92 2999999999999 TS2999999999999 802 既能能既既能如赤 2999999999999 *0 TOC o 1-5 h z 2999999999999 ,92既能既既能能如赤9S LZ2999999999999 TS 2999999999999 *

13、0ZZ6ZXqg892f6f1f I98 L 9 = X:gf廉序三毒999992292969 *00000 076沛6908珏09E0000 I09998899S22Sg 70000 沛元6617906* ,02 = S809606681826180,0 26299218698626 *0- 96261829029090,096gS0I900869I2I,08I922I9SgSg9gI9 *0 9奖*能99ZZ6顷7 *0- 丸0奖I顷6珏9歼9 *0-099g92g96gSI9 *069860g699gI699 *029X)66空9舞0奖9 *019沛9舞809162空 *01 摭脱歼96

14、926 口 9CT0-22906S902Sg08gg0 *028I0g9I88I ,0610799891弘0008 ,0歼案计1源2曙Z9Z ,0-26086216086699 *09g2099gg6I99S92 ,0-862020209991 ,0196092106109 -0 = A71弱6馈9脱0弱都cro628282829292 ,0-22061006626900 *09229920006626 *029080991619120 *0元2计0赤60团盈7 *0gS9S098I929SI9g ,0-22g62999ISI90I,0-奖能29案0歼曙99 *0628220606269190

15、 ,0-8000890g999Ig9012689909699999 -0 = n929696229901 00000 92697既顷60166 E000000.115401392950555U = 0.6058128466080450.03318110003523370.3678249005496530.7046947225719420.207658307698303-0.6592272331643090.569609399743436-0.4447950247274920.592819716874282-0.350339490735921-0.715166553126011-0.119849

16、1794125050.4882966367011240.6645153955220880.169666660099798-0.539628490862994V = 0.418586401553023-0.701149405212855-0.3481656092226150.4603864078784210.4747910935448680.3582157725783960.5823070756479290.5542322143442120.6816839458012550.422652352034503-0.487595313404139-0.3448518489190010.36696844

17、5458451-0.4488161774774000.549499762103062-0.601621318040727S = 20.971465903068500004.18615750309734 00003.21364264610210 00000.588391178427778备用一、652362292824324228.333333333333321.3333333333333 13.3333333333333 28.666666666666721.333333333333332.3333333333333 12.6666666666667 2313.333333333333312.

18、6666666666667 9.33333333333333 13.333333333333328.66666666666672313.3333333333333 36.66666666666670.537587183261060-0.2780984014127280.5523911741630780.5731712573322750.5186406286795220.823965609752008-0.2013797055422340.1074187433581040.2770152628577040.06483262874453510.565951746447693-0.773794478

19、5837880.604379403041026-0.489426892730425-0.577934966579514-0.24734192579655788.0137240422176 0004.22442869513906 00001.960537764342380.5037677278860780.1819236327721010.479092200368461-0.6954081763436550.631179306148087-0.702407403864479-0.3252634587350880.04939843012150780.5043802176082380.6879613

20、59340669-0.4736271211713190.2190596134173830.3056654313401900.01538827116677540.6635900059892130.6826273867530880.537587183261060-0.2780984014127280.552391174163079-0.5731712573322730.5186406286795220.823965609752009-0.201379705542234-0.1074187433581040.2770152628577040.06483262874453560.56595174644

21、76920.7737944785837890.604379403041026-0.489426892730425-0.5779349665795150.2473419257965556.11587512093756 0003.55995591060018 02.425203763197462510514.666666666666732.6666666666667 28.666666666666724.666666666666723.3333333333333 32.333333333333323.333333333333363.6666666666667 44.333333333333332.

22、333333333333344.3333333333333 51.333333333333316.2493437444917 000000二、31933748550619.666666666666714.666666666666732.666666666666728.66666666666670.3650519355593670.3497286704955920.6332937346416860.58597439111392200-0.1427229193917600.589132569223871-0.6573406573714820.4477234015845060.57399096230

23、6015-0.597617667972004-0.3806495313387490.4104795152139870.7189587107864180.416492251837618-0.148149384479332-0.536362131606955136.403156902038 0019.6511093435658 00003.23342699806239 00000.04564008966686500.4111180510244020.6329236182705130.4699839053323610.1333061177881650.656695729056676-0.694533

24、1138617710.4229040036334020.3150570204662680.4753631409444510.4521277759535300.219304302115233-0.8445414322355890.09100257011711730.279451257682395-0.8471446390890140.06509407060939690.3650519355593670.3497286704955920.6332937346416860.58597439111392320.2289265831412 00.142722919391759-0.58913256922

25、38720.657340657371483-0.44772340158450600-0.5739909623060170.5976176679720030.380649531338749-0.4104795152139860.7189587107864170.416492251837620-0.148149384479331-0.53636213160695607.67810706038261 00003.11452741105086 00000.370027389527544三、115937833177779222.666666666666724.6666666666667 37.66666

26、66666667 17.666666666666724.666666666666733.3333333333333 43.6666666666667 1737.666666666666743.6666666666667 7345.333333333333317.66666666666671745.3333333333333 47.66666666666670.3586901617333580.2871319563149020.763925655113692-0.4531161010134060.4145085653783190.512762152761915-0.630381610928482

27、-0.4097275296171660.7024560207320140.07163071254942990.06166455393493940.7054233216622560.453959861707013-0.805915166365173-0.123426499789682-0.359426053217087147.297012629784 000 TOC o 1-5 h z 026.5268732511105 00002.49814686655876 00000.344633919213220-0.398222546817333-0.683256081382107-0.2443645

28、05993554-0.561129146160856-0.5213382612314090.292129854443466-0.7297848966895480.332085184979511-0.455991484012894-0.4221408849349770.4489563166832900.642111412049503-0.6014124932941170.5192478682320440.454024469037215-0.403170492176334-0.3586901617333580.2871319563149020.763925655113692-0.453116101

29、013407-0.4145085653783190.512762152761915-0.630381610928483-0.409727529617165-0.7024560207320140.07163071254942970.06166455393494000.705423321662256-0.453959861707013-0.805915166365173-0.123426499789683-0.359426053217087 TOC o 1-5 h z 21.0212044823638 00008.92079703576601 00002.73759759637466 00001.

30、01680959753517从上面的数据可以看出，PCA对角矩阵中的特征值乘上4-1=3之后得到的值等于 SVD对角矩阵中的特征值的平方。并且矩阵B和矩阵V为相似矩阵。矩阵归一化和中心化的影响：原矩阵：X = 910152518归一化矩阵：Z = 0.5625000000000000.3703703703703700.1111111111111110.22727272727272700.2592592592592590.7777777777777780.04545454545454550.3125000000000000.18518518518518500.3636363636363640.1

31、250000000000000.1851851851851850.1111111111111110.363636363636364归一化后的 C0.143229166666667 0.09645061728395060.02546296296296300.09564393939393940.09645061728395060.09099222679469590.08779149519890260.07687991021324350.02546296296296300.08779149519890260.2098765432098770.03367003367003370.09564393939

32、393940.07687991021324350.03367003367003370.106060606060606B = 0.5147692932946590.4941383448508530.5533170668569170.4297442196863560.5088001353738780.04076155723355100.148132736643049-0.8470641121131630.530521136734373-0.7998564051219010.002769142402916370.2806588436409780.4412281953847820.3382240718

33、59802-0.8196885065132070.137959809735346C = 0.34678351874221800000.17543441067107000000.027490402736960200000.000450210581596442U = 0.6247483261189180.3873996125236430.627205641789769-0.2573405372948960.553537196455310-0.8217719281922530.01149110457685520.1347420672662680.4073962178310060.3927911359

34、13755-0.3402940806081350.7509616394647830.3705596076868030.142574758633152-0.700486242638464-0.593023641371865V = 0.5147692932946580.4941383448508540.5533170668569160.4297442196863590.5088001353738770.04076155723355160.148132736643051-0.8470641121131650.530521136734373-0.7998564051219010.00276914240

35、2915660.2806588436409780.4412281953847810.338224071859802-0.8196885065132070.137959809735344S = 1.01997576256824 00000.725467595426019000II9g8086090g2g ,00000源弟 0921021177 700002926691289989*S= S6121928110889 ,0-129008228982 *0-269982999962 ,020999262682909 *0-Z9Z源能顷IR沛Z *0-g9S898I889S26S60 ,0128986

36、22099900*0-76能6源孙0999 *069082299919900*0Z92计 19E9Z卵鸵9 *0-268281292992 *0-S90282ggg92060 ,06629S89699S90g ,0-gIgS8gg69890SS9 *0gg8I09II96S029 ,0-9228986911 0-= A000000000000009 *0-99218129089 ,0-奕顷奖89珏盈况02960961211012 *0-000000000000009 *0-26092069002102 *0829891128162 *0966g099Ig069I *0-000000000000

37、009 *0-I22I0I0I8SI6SgI ,009E99G9 案 99H）舞 CT008099IS69Ig2W8 *0000000000000009 *0-0gIg/SI82I09I ,0-692212999128 *0-I8I989Ig9I28SS ,0-二91-9/0069892122 *9866IgI90982g0*0298IggSg99 *18/gI0gS9I890Sg 7=2121928110889 ,0-29008228982 *0-269982999962 ,020999262682909 ,0ISS898I889S26S60 ,09g6986g/g2099900 *0-S6

38、gg6g8Sg0Sg999 ,0-Z9821989离节鸵9 *0-死68赤8言以99Z ,0-990282ggg92060 *0-I089289699S90g ,0-SIgS8gg69890SS9 *0Sg8I09II96S029，0-99228986911 ,0 二 9I680190991290926 *0-086Z9GI孙质 168。-9290S9I99S99ggg ,0680190991290926 *0-ggggg/isgosgi ,o88I02g/96I299 ,0-086299ISg0I68 *0-ggggg/isgosgi*o oooooooooooooo ,i2I908Ig99

39、8gSI9 *09290S9I99S99ggg ,0881022961299,0-2I908Ig998gSI9 *0 lX 阳身矛叩出60歼歼19源府拓Z ,09I9IS20g06g *0-82919996821902 ,0-6死英元16腭ZCHG ,0-22286826182202 *0-82919996821902 ,0-92922269692992 *06669090I0899g ,1- 92计6展侦99膘106282gS8I0890I ,00901698209120 *1-288882229992091 *0-四言赤0歼昨06如CH Z浙760弱8浙丸如I 218196288922 *

40、1 = M备用：矩阵归一化和中心化的影响:原矩阵：X = 041031029425151379归一化矩阵：Z = 00.2857142857142860.3703703703703700.1428571428571430.7692307692307690.1428571428571430.3333333333333330.1904761904761900.1538461538461540.3571428571428570.03703703703703700.2380952380952380.07692307692307690.2142857142857140.2592592592592590.

41、428571428571429归一化后的 Cx=0.207100591715976 0.06043956043956040.09401709401709400.07203907203907210.06043956043956040.09183673469387750.07407407407407410.08163265306122450.09401709401709400.07407407407407410.1056241426611800.07877718988830100.07203907203907210.08163265306122450.07877718988830100.09901

42、73847316704B = 0.641533338425768-0.7420657032556540.1873808057874080.05159361745839260.4038305523513690.4772683056566630.3103085079473120.7161316075266610.4813360964074980.198341515187375-0.853126039258663-0.03394358241544900.4400811549828840.4268654352609110.375197314298491-0.695227626430109C = 0.3

43、6510360428197900000.10165929590489500000.023385644381069400000.0134303092347603U = 0.3406568019707490.4903647541716850.655840248291623-0.4619187372882680.760051278024566-0.6432201201984830.09227236347732490.008703027253759530.3492654886265230.299267018036235-0.745220554634226-0.4828034748433700.4292

44、885003104100.506210960720618-0.07749648127333270.743946330146066V = 0.641533338425768-0.742065703255654-0.187380805787408-0.05159361745839290.4038305523513690.477268305656663-0.310308507947311-0.7161316075266620.4813360964074970.4400811549828840.1983415151873740.4268654352609120.853126039258663-0.37

45、51973142984910.03394358241545030.695227626430108 TOC o 1-5 h z S = 1.04657097840803 00000.55224803097402300000.26487154083292600000.200726001565021中心化矩阵：W = -0.7106195041520290.3872983346207420.806225774829855-0.8555277382080451.47590204708498 -1.161895003862230.558156305651438-0.475293187893358-0.2

46、733151939046261.16189500386223 -1.42639944777590-0.0950586375786717-0.491967349028327-0.3872983346207420.06201736729460421.42587956368008中心化后的 C蒐1 -0.7056967961720460.203403465210950-0.256345570292959-0.705696796172046-0.672538245981366-0.1472642081021450.203403465210950-0.6725382459813661.000000000

47、00000 -0.243671839571301-0.256345570292959-0.147264208102145-0.2436718395713011.00000000000000B = -0.5403172028315730.07554581992129450.689188027129422-0.4768333175000880.6410745975853130.349477215060613-0.00843003586488852-0.683240785506562-0.5226045922951990.0748446964757021-0.724512734678981-0.4431297877703700.154806720677959-0.930890313976548-0.00548589507340027-0.330829272484802=2.107475180491601.095681376368100.7968434431403030=-0.03120703820814160.517595749718580-0.693628690755751-0.5000000000