《主成分分析》ppt课件

1、第三讲 主成分分析因子分析 预备知识 求主成分 因子分析阐明阐明., 0. 1言言的的特特征征值值问问题题是是对对方方阵阵而而特特征征向向量量 x .0,0,. 2 的的特特征征值值都都是是矩矩阵阵的的即即满满足足方方程程值值有有非非零零解解的的就就是是使使齐齐次次线线性性方方程程组组的的特特征征值值阶阶方方阵阵AEAxEAAn 一、特征值与特征向量的概念., , 1的特征向量的特征向量的对应于特征值的对应于特征值称为称为量量非零向非零向的特征值的特征值称为方阵称为方阵这样的数这样的数那末那末成立成立使关系式使关系式维非零列向量维非零列向量和和如果数如果数阶矩阵阶矩阵是是设设定义定义 AxAx

2、AxxnnA 0. 3 EA 0212222111211 nnnnnnaaaaaaaaa次次方方程程为为未未知知数数的的一一元元称称以以n 0 EA . 的的为为A特征方程特征方程,次多项式次多项式的的它是它是n 记记 EAf 称其称其. 的的为为方方阵阵A特征多项式特征多项式 则则有有的的特特征征值值为为阶阶方方阵阵设设,. 4 21nijaAn ;)1(221121nnnaaa .)2(21An 解解例例1 1 .3113的特征值和特征向量的特征值和特征向量求求 A的特征多项式为的特征多项式为A 31131)3(2 )2)(4(682 . 4, 221 的的特特征征值值为为所所以以A,00

3、231123,2211 xx对应的特征向量应满足对应的特征向量应满足时时当当 . 0, 02121xxxx 即即,21xx 解解得得.11 1 p取取为为所所以以对对应应的的特特征征向向量量可可,001111,00431143,421212 xxxx即即由由时时当当 .11 ,221 pxx取为取为所以对应的特征向量可所以对应的特征向量可解得解得例例 .201034011的特征值和特征向量的特征值和特征向量求矩阵求矩阵 A解解,)1( )2(201034011 2 EAA的特征多项式为的特征多项式为. 1, 2321 的的特特征征值值为为所所以以A由由解解方方程程时时当当. 0)2(,21 x

4、EA ,0000100010010140132 EA,1001 p 得基础解系得基础解系.2)0(11的的全全部部特特征征值值是是对对应应于于所所以以 kpk由由解解方方程程时时当当. 0)(,132 xEA ,000210101101024012 EA,1212 p 得得基基础础解解系系.1)0(322的全部特征值的全部特征值是对应于是对应于所以所以 kpk例例 证明：假设证明：假设 是矩阵是矩阵A A的特征值，的特征值， 是是A A的属于的属于的特征向量，那么的特征向量，那么 x .)1(是是任任意意常常数数的的特特征征值值是是mAmm .,)2(11的的特特征征值值是是可可逆逆时时当当

5、AA 证明证明 xAx 1 xAxxAAxA xxA22 再继续施行上述步骤再继续施行上述步骤 次，就得次，就得2 mxxAmm .,征征向向量量的的特特对对应应于于是是且且的的特特征征值值是是矩矩阵阵故故mmmmAxA 可得可得由由xAx xAxAAxA111 xxA11 , 0,2 可可逆逆时时当当A., 1111的的特特征征向向量量对对应应于于是是且且的的特特征征值值是是矩矩阵阵故故 AxA.,., 121212121线性无关线性无关则则各不相等各不相等如果如果向量向量依次是与之对应的特征依次是与之对应的特征个特征值个特征值的的是方阵是方阵设设定理定理mmmmppppppmA 证明证明使

6、使设有常数设有常数mxxx,21. 02211 mmpxpxpx那么那么 , 02211 mmpxpxpxA即即, 0222111 mmmpxpxpx 类推之，有类推之，有. 0222111 mmkmkkpxpxpx 1, 2 , 1 mk二、特征值和特征向量的性质把上列各式合写成矩阵方式，得把上列各式合写成矩阵方式，得 11221112211111,mmmmmmmpxpxpx 0 , 0 , 0 于于是是有有可可逆逆从从而而该该矩矩阵阵该该行行列列式式不不等等于于不不相相等等时时当当各各式式列列阵阵的的行行列列式式为为范范德德蒙蒙行行上上式式等等号号左左端端第第二二个个矩矩., 0,i ,0

7、 ,0 ,0,2211 mmpxpxpx ., 2 , 10mjpxjj 即即, 0 jp但但 ., 2 , 10mjxj 故故.,21线线性性无无关关所所以以向向量量组组mppp留意留意.属于不同特征值的特征向量是线性无关属于不同特征值的特征向量是线性无关的的.属于同一特征值的特征向量的非零线性属于同一特征值的特征向量的非零线性组合仍是属于这个特征值的特征向量组合仍是属于这个特征值的特征向量.矩阵的特征向量总是相对于矩阵的特征矩阵的特征向量总是相对于矩阵的特征值而言的，一个特征值具有的特征向量不独一；值而言的，一个特征值具有的特征向量不独一；一个特征向量不能属于不同的特征值一个特征向量不能属

8、于不同的特征值一、类似矩阵与类似变换的概念.,., , 111的相似变换矩阵的相似变换矩阵变成变成称为把称为把可逆矩阵可逆矩阵进行相似变换进行相似变换称为对称为对行运算行运算进进对对相似相似与与或说矩阵或说矩阵的相似矩阵的相似矩阵是是则称则称使使若有可逆矩阵若有可逆矩阵阶矩阵阶矩阵都是都是设设定义定义BAPAAPPABAABBAPPPnBA 1. 等价关系等价关系 . 22111211PAPPAPPAAP ., . 3为为正正整整数数相相似似与与则则相相似似与与若若mBABAmm二、类似矩阵与类似变换的性质.本身相似本身相似与与AA.,相似相似与与则则相似相似与与若若ABBA.,相相似似与与则

9、则相相似似与与相相似似与与若若CACBBA反身性反身性)1()2(对称性对称性传递性传递性)3(证明证明相似相似与与BA PEPAPPEB 11 PEAP 1PEAP 1.EA PAPkPAPkPAkAkP21211122111. 4 .,21是是任任意意常常数数其其中中kkBAPPP 1,使使得得可可逆逆阵阵., 1的特征值亦相同的特征值亦相同与与从而从而式相同式相同的特征多项的特征多项与与则则相似相似与与阶矩阵阶矩阵若若定理定理BABABAn推论推论 假设假设 阶方阵阶方阵A与对角阵与对角阵n n 21.,21个个特特征征值值的的即即是是则则相相似似nAn ., 1对对角角化化这这就就称称

10、为为把把方方阵阵为为对对角角阵阵使使若若可可找找到到可可逆逆矩矩阵阵阶阶方方阵阵对对AAPPPAn 证明证明,1为为对对角角阵阵使使假假设设存存在在可可逆逆阵阵 APPP .,21npppPP 用其列向量表示为用其列向量表示为把把三、利用类似变换将方阵对角化.)( 2个个线线性性无无关关的的特特征征向向量量有有的的充充分分必必要要条条件件是是能能对对角角化化即即与与对对角角矩矩阵阵相相似似阶阶矩矩阵阵定定理理nAAAn nnnppppppA 212121,即即 .,2211nnppp nnApApAppppA,2121 ., 2 , 1nipApiii 于是有于是有 nppp ,211 ,1

11、PAPAPP得得由由., 的的特特征征向向量量的的对对应应于于特特征征值值就就是是的的列列向向量量而而的的特特征征值值是是可可见见iiiApPA .,21线线性性无无关关所所以以可可逆逆又又由由于于npppP命题得证命题得证., PAPPnnnA使使阵阵个个特特征征向向量量即即可可构构成成矩矩这这个个特特征征向向量量得得并并可可对对应应地地求求个个特特征征值值恰恰好好有有由由于于反反之之阐明阐明 假设假设 阶矩阵阶矩阵 的的 个特征值互不相等，个特征值互不相等，那么那么 与对角阵类似与对角阵类似推论推论nAAn假设假设 的特征方程有重根，此时不一定有的特征方程有重根，此时不一定有 个线性无关的

12、特征向量，从而矩阵个线性无关的特征向量，从而矩阵 不一定能不一定能对角化，但假设能找到对角化，但假设能找到 个线性无关的特征向量，个线性无关的特征向量， 还是能对角化还是能对角化AAnnA例例1 1 判别以下实矩阵能否化为对角阵？判别以下实矩阵能否化为对角阵？ 242422221)1(A 201335212)2(A解解EA 由由)1( 722 0 242422221. 7, 2321 得得 得得方方程程组组代代入入将将, 02121 EA 04420442022321321321xxxxxxxxx解之得根底解系解之得根底解系.110,10221 , 0, 73 xEA 由由对对求得根底解系求得

13、根底解系 2 , 2 , 13T , 0211210102 由由于于.,321线线性性无无关关所所以以 .,3 化化可可对对角角因因而而个个线线性性无无关关的的特特征征向向量量有有即即AA,同理同理 201335212EA 31 201335212)2(A. 1321 的特征值为的特征值为所以所以A , 01 xEA 代代入入把把解之得根底解系解之得根底解系,) 1, 1 , 1 ( T 故故 不能化为对角矩阵不能化为对角矩阵.A);det()det(,)1(BABA 则则相相似似与与;,)2( 11相相似似与与且且也也可可逆逆则则可可逆逆且且相相似似与与若若 BABABA;,)3( 为为常常

14、数数相相似似与与则则相相似似与与kkBkABA.)()(,)(,)4( 相相似似与与则则是是一一多多项项式式而而相相似似与与若若BfAfxfBA四、小结类似矩阵类似矩阵 类似是矩阵之间的一种关系，它具有很多良好类似是矩阵之间的一种关系，它具有很多良好的性质，除了课堂内引见的以外，还有：的性质，除了课堂内引见的以外，还有：一、二次型及其规范形的概念 nnnnnnnnxxaxxaxxaxaxaxaxxxf1,13113211222222211121222 , 称为二次型称为二次型. .的的二二次次齐齐次次函函数数个个变变量量含含有有定定义义nxxxn, 121; , 称称为为是是复复数数时时当当f

15、aij复二次型复二次型. , 称称为为是是实实数数时时当当faij实二次型实二次型只含有平方项的二次型只含有平方项的二次型2222211nnykykykf 称为二次型的规范形或法式称为二次型的规范形或法式例如例如 312322213214542,xxxxxxxxf 都为二次型；都为二次型； 23222132144,xxxxxxf 为二次型的规范形为二次型的规范形. . 323121321,xxxxxxxxxf 1 1用和号表示用和号表示 nnnnnnnnxxaxxaxxaxaxaxaxxxf1,13113211222222211121222 , 对二次型对二次型,aaijji 取取,2xxax

16、xaxxaijjijiijjiij 则则于是于是nnxxaxxaxaf1121122111 .1,xxajinjiij nnxxaxaxxa2222221221 22211nnnnnnnxaxxaxxa 二、二次型的表示方法2 2用矩阵表示用矩阵表示nnxxaxxaxaf1121122111 nnxxaxaxxa2222221221 22211nnnnnnnxaxxaxxa )()()(22112222121212121111nnnnnnnnnnxaxaxaxxaxaxaxxaxaxax nnnnnnnnnnxaxaxaxaxaxaxaxaxaxxx22112222121121211121),

17、(., 为为对对称称矩矩阵阵其其中中则则二二次次型型可可记记作作AAxxfT ,21212222111211 nnnnnnnxxxxaaaaaaaaaA记记 nnnnnnnnxxxaaaaaaaaaxxx2121222211121121,三、二次型的矩阵及秩在二次型的矩阵表示中，任给一个二次型，在二次型的矩阵表示中，任给一个二次型，就独一地确定一个对称矩阵；反之，任给一个对就独一地确定一个对称矩阵；反之，任给一个对称矩阵，也可独一地确定一个二次型这样，二称矩阵，也可独一地确定一个二次型这样，二次型与对称矩阵之间存在一一对应的关系次型与对称矩阵之间存在一一对应的关系; 的的矩矩阵阵叫叫做做二二次

18、次型型对对称称矩矩阵阵fA; 的的二二次次型型叫叫做做对对称称矩矩阵阵Af. 的的秩秩的的秩秩叫叫做做二二次次型型对对称称矩矩阵阵fA解解,a,a,a321332211 ,aa22112 ,aa03113 .aa33223 .330322021 A.6432 3221232221的的矩矩阵阵写写出出二二次次型型xxxxxxxf 例例 nnnnnnnnnnycycycxycycycxycycycx22112222121212121111,设设四、化二次型为规范形对于二次型，我们讨论的主要问题是：寻求对于二次型，我们讨论的主要问题是：寻求可逆的线性变换，将二次型化为规范形可逆的线性变换，将二次型化

19、为规范形),(cCij 记记记作记作则上述可逆线性变换可则上述可逆线性变换可 Cyx AxxfT 证明证明于于是是即即有有为为对对称称矩矩阵阵,TAAA TTTACCB 有有将将其其代代入入, AxxfT . yACCyTT CyACyT ., 1ARBRBAACCBCT 且且也也为为对对称称矩矩阵阵则则矩矩阵阵为为对对称称如如果果令令任任给给可可逆逆矩矩阵阵定定理理CACTT ,BACCT ,ACCBT ,ARACRBR , 11 BCCAT又又 .1BRBCRAR .BRAR 即即 为对称矩阵为对称矩阵.B阐明阐明2222211nnTTykykykACyCy 就就是是要要使使变变成成标标准

20、准形形经经可可逆逆变变换换要要使使二二次次型型, 2 Cyxf. ,),(212121 yyykkkyyynnn.成成为为对对角角矩矩阵阵也也就就是是要要使使ACCT; ,1 ACCBAfCyx. T 变变为为的的矩矩阵阵由由但但其其秩秩不不变变后后二二次次型型经经可可逆逆变变换换有有型型把此结论应用于二次把此结论应用于二次即即使使总有正交矩阵总有正交矩阵阵阵由于对任意的实对称矩由于对任意的实对称矩,.,1 APPAPPPAT 化化为为标标准准形形使使正正交交变变换换总总有有任任给给二二次次型型定定理理fPyxaaxxafjiijnjijiij, 21, ,2222211nnyyyf .,21

21、的的特特征征值值的的矩矩阵阵是是其其中中ijnaAf 用正交变换化二次型为规范形的详细步骤用正交变换化二次型为规范形的详细步骤;,. 1AAxxfT求求出出将将二二次次型型表表成成矩矩阵阵形形式式 ;,. 221nA 的的所所有有特特征征值值求求出出 ;,. 321n 征征向向量量求求出出对对应应于于特特征征值值的的特特 ;,. 4212121nnnC 记记得得单单位位化化正正交交化化将将特特征征向向量量 .,. 52211nnyyffCyx 的的标标准准形形则则得得作作正正交交变变换换 解解1 1写出对应的二次型矩阵，并求其特征值写出对应的二次型矩阵，并求其特征值 144241422217A 144241422217EA 9182 .,844141417 323121232221化成标准形化成标准形通过正交变换通过正交变换将二次型将二次型Pyxxxxxxxxxxf 例例2 2