MATLAB数据分析方法-(4)

1、1/24第第5章章 主成分与典型相关分析主成分与典型相关分析 普通高等院校计算机课程规划普通高等院校计算机课程规划教材教材MATLAB数据分析方法数据分析方法 李柏年 吴礼斌 主编 张孔生 丁 华 参编 2/24第第5章章 主成分与典型相关分析主成分与典型相关分析 第第5章章 主成分与典型相关分析主成分与典型相关分析 主成分分析就是将原来指标重新组合成一组新的主成分分析就是将原来指标重新组合成一组新的互相无关的指标来代替原来指标互相无关的指标来代替原来指标.这些综合指标就是原这些综合指标就是原来指标的线性组合，同时根据实际需要从中选取几个来指标的线性组合，同时根据实际需要从中选取几个较少的综合

2、指标尽可能多地反映原来指标的信息较少的综合指标尽可能多地反映原来指标的信息.5.1主成分分析的基本原理主成分分析的基本原理 1.基本思想基本思想主成分分析是一种数学降维的方法，找出几个综合变主成分分析是一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。的统计分析方法就叫做主成分分析或主分量分析。

3、3/24第第5章章 主成分与典型相关分析主成分与典型相关分析 2.主成分的数学模型主成分的数学模型设设X1,X2,Xp，为实际问题的，为实际问题的p个个n维随机变量维随机变量(p项指标项指标)记记X=(X1,X2,Xp)T，其协方差矩阵为，其协方差矩阵为)()()(TpijXEXXEXE它是一个它是一个p阶的非负定矩阵。设变量阶的非负定矩阵。设变量x1,x2,xp经过经过线性变换后得到新的综合变量线性变换后得到新的综合变量Y1,Y2,Yp ，即，即ppppppppppxlxlxlYxlxlxlYxlxlxlY22112222121212121111或或piXlXlXlYpipiii,21221

4、1 (5.1.1) 4/24第第5章章 主成分与典型相关分析主成分与典型相关分析 其中系数其中系数 为常数向量。要求为常数向量。要求(5.1.1)满足以下条件：满足以下条件：（1）系数向量是单位向量，即）系数向量是单位向量，即 pilllipii,21122221（2）不同的主成分不相关，即）不同的主成分不相关，即 ),(,),cov(pjijiYYji210（3）各主成分的方差递减，即）各主成分的方差递减，即 021)var()var()var(pYYY), 2 , 1(),(21pillllipiii(5.1.2) (5.1.3) (5.1.4) 于是，称于是，称Y1为第一主成分，为第一主

5、成分，Y2为第二主成分，为第二主成分，依此类推，依此类推，Yp称为称为第第p个主成分。主成分又叫主分个主成分。主成分又叫主分量。这里量。这里lij我们称为主成分的系数。我们称为主成分的系数。5/24第第5章章 主成分与典型相关分析主成分与典型相关分析 3. 主成分的求法及性质主成分的求法及性质 当总体当总体X=(X1,X2,Xp)T的协方差矩阵的协方差矩阵 =( ij)p已已知时，我们可根据下面的定理求出主成分。知时，我们可根据下面的定理求出主成分。定理定理5.1 设设p维随机向量维随机向量X的协方差矩阵的协方差矩阵 的特征值满足的特征值满足 12 p 0，相应的单位正交特征向量为相应的单位正

6、交特征向量为e1,e2,ep，则，则X的第的第i个主成分为个主成分为1122(1,2, )TiiiiippYe Xe Xe Xe Xip (5.1.5) 其中其中 ，且，且), 2 , 1,( ,0),cov(), 2 , 1( ,)(pjkjkeeYYpkeeYVarjTkjkkkTkk (5.1.6) Tipiieeee),(21i6/24第第5章章 主成分与典型相关分析主成分与典型相关分析 证明：证明： 令令 , 则则P为正交矩阵，且为正交矩阵，且 12( ,)pP e ee12Diag(,)Tp P P若若 为为X的第一主成分，其中的第一主成分，其中 ，令，令XlYT11111llT1

7、112111),(lPhhhhTp则则 ，且，且11111PhlhhT ，111121212221111111111)(hhhhhhhPhPhllYVarTppTTTT只有当只有当h1=(1,0,0)(标准单位向量标准单位向量)时等号成立，这时时等号成立，这时111ePhl因此，因此，X的第的第1个主成分为个主成分为:ppXeXeXeY12121111且方差且方差 Var(Y1)= 1, 达到最大达到最大 .7/24第第5章章 主成分与典型相关分析主成分与典型相关分析 若若 为为X的第二主成分，其中的第二主成分，其中 ，且，且XlYT222222212),(lPhhhhTp令，则则 ，且，且2

8、2221PhlhhT ，122llT,0),cov(1211221elelYYTT, 02112122211211212heeheeheehePhelTppTTTTT222222222222222222112222222)(hhhhhhhhhPhPhllYVarTppppTTTT从而从而只有当只有当h2=(0,1,0)= 2时等号成立，这时时等号成立，这时222ePhl因此的第因此的第2个主成分为：个主成分为：ppXeXeXeY22221212且方差且方差 Var(Y2)= 2, 达到最大达到最大 .8/24第第5章章 主成分与典型相关分析主成分与典型相关分析 类似可得其余主成分的表达式，且各

9、主成份的方类似可得其余主成分的表达式，且各主成份的方差等于相应的特征值差等于相应的特征值.定理定理5.1表明：求表明：求X的主成分等价于求它的协方差矩阵的主成分等价于求它的协方差矩阵的所有特征值及相应的正交单位化特征向量的所有特征值及相应的正交单位化特征向量.推论：若记推论：若记Y=(Y1,Y2,Yp)T为主成分向量，矩阵为主成分向量，矩阵p=(e1,e2,ep),则则 Y=pTX，且，且Y的协方差的协方差11( )()ppiiiiVar YVar X),(21pTYDiagPP主成分的总方差主成分的总方差9/24第第5章章 主成分与典型相关分析主成分与典型相关分析 证明证明: 由由(5.1.

10、5)式，显然有式，显然有Y=PTX，又由，又由(5.1.6)式，式，有有 1( )()(,)TTpCov YCov p Xppdiag 11( )ppiiiiVar Y又因为又因为 11()()( )()ppTTiiiitr pptrpptrVar X 11( )()ppiiiiVar YVar X 此性质表明主成分分析是将此性质表明主成分分析是将p个原始变量的总方个原始变量的总方差分解为差分解为p个不相关变量个不相关变量Y1,Y2,Yp的方差之和的方差之和.由于由于Var(Yk)= k，因此，因此 描述了第描述了第k个主成分提个主成分提取的信息占总信息的份额取的信息占总信息的份额.1/pkk

11、k10/24第第5章章 主成分与典型相关分析主成分与典型相关分析 我们称我们称 为第个主成分的贡献率，他表示第个为第个主成分的贡献率，他表示第个主成分提取的信息占总信息的百分比主成分提取的信息占总信息的百分比.1/pkkk称前称前m个主成分的贡献率之和个主成分的贡献率之和11/pmkkkk为累计贡献率，它表示前为累计贡献率，它表示前m个主成分综合提供总信个主成分综合提供总信息的程度息的程度.通常通常m eps B = B * real(inv(B * B)(1/2);div = min(abs(diag(B * BOld); BOld = B; B = (sPCA*( sPCA * B). 3

12、)/length(sPCA) -3*B; sICA = sPCA*B;end% 独立成分分析独立成分分析52/24第第5章章 主成分与典型相关分析主成分与典型相关分析 subplot(322), plot(sICA(:,1), ylabel(s_ICA1), title(Separated signals - ICA)subplot(324), plot(sICA(:,2), ylabel(s_ICA2)subplot(326), plot(sICA(:,3), ylabel(s_ICA3)01000200030004000-202sPCA1Separated signals - PCA010

13、00200030004000-2024sPCA201000200030004000-505sPCA301000200030004000-505sICA1Separated signals - ICA01000200030004000-505sICA201000200030004000-4-202sICA3图图 5.6 分离信号图形分离信号图形53/24第第5章章 主成分与典型相关分析主成分与典型相关分析 5.3 典型相关分析典型相关分析 在对经济和管理问题的研究中，不仅经常需要考在对经济和管理问题的研究中，不仅经常需要考察两个变量之间的相关程度，而且还经常需要考察多察两个变量之间的相关程度，而

14、且还经常需要考察多个变量与多个变量之间即两组变量之间的相关性。比个变量与多个变量之间即两组变量之间的相关性。比如工厂管理人员需要了解原料的主要质量指标如工厂管理人员需要了解原料的主要质量指标x1,x2,xp 与产品的主要质量指标与产品的主要质量指标Y1,Y2,Yq 之间的之间的相关性，以便提高产品质量；医生要根据病人的一组相关性，以便提高产品质量；医生要根据病人的一组体检化验指标与一些疾病之间的相关性，以便确定治体检化验指标与一些疾病之间的相关性，以便确定治疗方法等等疗方法等等.典型相关分析就是测度两组变量之间相典型相关分析就是测度两组变量之间相关程度的一种多元统计方法，它是两个随机变量之间关

15、程度的一种多元统计方法，它是两个随机变量之间的相关性在两组变量之下的推广的相关性在两组变量之下的推广54/24第第5章章 主成分与典型相关分析主成分与典型相关分析 5.3.1典型相关分析的基本原理典型相关分析的基本原理对于两组随机变量对于两组随机变量(X1,X2,Xp)和和(Y1,Y2,Yq) ，象主，象主成分分析那样，考虑成分分析那样，考虑(X1,X2,Xp)一个线性组合一个线性组合U及的及的(Y1,Y2,Yq)一个线性组合一个线性组合V，希望找到的，希望找到的U和和V之间之间有最大可能的相关系数，以充分反映两组变量间的关有最大可能的相关系数，以充分反映两组变量间的关系。这样就把研究两组随机

16、变量间相关关系的问题转系。这样就把研究两组随机变量间相关关系的问题转化为研究两个随机变量间的相关关系。如果一对变量化为研究两个随机变量间的相关关系。如果一对变量(U,V)还不能完全刻划两组变量间的相关关系时，可以还不能完全刻划两组变量间的相关关系时，可以继续找第二对变量，希望这对变量在与第一对变量继续找第二对变量，希望这对变量在与第一对变量(U,V)不相关的情况下也具有尽可能大的相关系数。直不相关的情况下也具有尽可能大的相关系数。直到进行到找不到相关变量对时为止。这便引导出典型到进行到找不到相关变量对时为止。这便引导出典型相关变量的概念。相关变量的概念。55/24第第5章章 主成分与典型相关分

17、析主成分与典型相关分析 1.总体典型相关变量总体典型相关变量设有两组随机变量设有两组随机变量 12(,) ,TpXXXX12( ,)TqYY YY11122122 (XT,YT)T=(X1,X2,Xp,Y1,Y2,Yq)T的协方差矩阵为的协方差矩阵为其中，其中， 11=cov(X)， 22=cov(Y), 12= T21=cov(X,Y)根据典型相关思想是要寻找根据典型相关思想是要寻找 的线性组合的线性组合(p q),将两组合并成一组向量将两组合并成一组向量 （5.3.1） )(),(,),(2121qpYYYYXXXXTqTp56/24第第5章章 主成分与典型相关分析主成分与典型相关分析 1

18、111112211111 11221TppTqqUa Xa Xa Xa XVb Yb Yb Yb Y使使U1,V1的相关系数的相关系数 (U1,V1)达到最大，这里达到最大，这里),(),(112111112111qTpTbbbbaaaa由（由（5.3.1）式，）式， ,),cov(,)(,)(1121111221111111baVUbbVVaraaUVarTTT所以所以U1,V1的相关系数为的相关系数为11112 1,111 1122 1TU VTTabaabb（5.3.2） 又由于相关系数与量纲无关，因此可设约束条件又由于相关系数与量纲无关，因此可设约束条件111 1122 11TTaab

19、b （5.3.3） 满足约束条件（满足约束条件（5.3.3）的相关系数的最大值称为第）的相关系数的最大值称为第一典型相关系数，一典型相关系数，U1,V1称为第一对典型相关变量称为第一对典型相关变量.57/24第第5章章 主成分与典型相关分析主成分与典型相关分析 典型相关分析在约束条件典型相关分析在约束条件a1T 11a1=b1T 22b1=1下，求下，求a1,b1，使得，使得 u1,v1=a1T 12b1取得最大值取得最大值. 如果如果(U1,V1)还不足以反映还不足以反映X,Y之间的相关性，还之间的相关性，还可构造第二对线性组合：可构造第二对线性组合：2221122222221 12222T

20、ppTqqUa Xa Xa XaXVb Yb Yb Yb Y使得使得(U1,V1)与与(U2,V2)不相关，即不相关，即cov(u1,u2)=cov(u1,v2)=cov(u2,v1)=cov(v1,v2)=0在约在约束条件束条件Var(u1)=Var(v1)=Var(u2)=Var(v2)=1下求下求a2,b2，使得使得 u2,v2=a2T 12b2取得最大值取得最大值.58/24第第5章章 主成分与典型相关分析主成分与典型相关分析 一般地，若前一般地，若前k -1对典型变量还不足以反映对典型变量还不足以反映X,Y之之间的相关性，还可构造第间的相关性，还可构造第k对线性组合：对线性组合：11

21、221 122TkkkkkppTkkkkkqqUa Xa XaXa XVb Yb Yb Yb Y在约束条件在约束条件 Var(uk)=Var(vk)=1,及及cov(uk,uj)=cov(uk,vj)=cov(vk,uj)=cov(vk,vj)=0,(1 jk)求求ak,bk，使得，使得 uk,vk=akT 12bk取得最大值取得最大值.如此确定的如此确定的(uk,vk)称为称为X,Y的第的第k对典型变量，相对典型变量，相应的应的 uk,vk称为第称为第k个典型相关系数个典型相关系数.59/24第第5章章 主成分与典型相关分析主成分与典型相关分析 2. 总体典型变量与典型相关系数的计算总体典型

22、变量与典型相关系数的计算(1) 计算矩阵计算矩阵(XT,YT)T的协方差矩阵的协方差矩阵或相关系数矩阵或相关系数矩阵11122122 (2) 令令或或求求A,B的特征值的特征值 12, 22, p2与对应的正交单位特征与对应的正交单位特征向量向量ek,fk,k=1,p(3) X,Y的第的第k对典型相关变量为对典型相关变量为(k=1,2,p)11122122,R RRR R1/211/21/211/211122221112221111222()()(),()()()AB 1/211/21/211/211122221112221111222()()(),()()()ARRRRRBRRRRR0.51

23、1,TkkUeX0.522TkkVfY(4) X,Y的第的第k个典型相关系数为：个典型相关系数为： k,k=1,2,p60/24第第5章章 主成分与典型相关分析主成分与典型相关分析 X=data; %输入协方差矩阵输入协方差矩阵Xp=c1; q=c2; %c1 ,c2分别表示分别表示X，Y向量的维数向量的维数R11=X(1:p,1:p); R12=X(1:p,p+1:p+q); %读取读取 11, 12R21=X(p+1:p+q,1:p); R22=X(p+1:p+q,p+1:p+q);%读取读取 21, 22 v1,d1=eig(R11); %计算计算R11的特征值与单位正交向量的特征值与单

24、位正交向量v2,d2=eig(R22); %计算计算R22的特征值与单位正交向量的特征值与单位正交向量p1=inv(v1*sqrt(d1)*v1); p2=inv(v2*sqrt(d2)*v2); % p1，p2表示的平方根矩阵的逆表示的平方根矩阵的逆 A=p1*R12*inv(R22)*R21*p1; %计算矩阵计算矩阵AB=p2*R21*inv(R11)*R12*p2; %计算矩阵计算矩阵Bva,da=eig(A ), %计算计算A的特征值与特征向量的特征值与特征向量vb,db=eig(B), %计算计算B的特征值与特征向量的特征值与特征向量A1=p1*va, %计算典型相关变量计算典型相

25、关变量U的系数的系数B1=p2*vb, %计算典型相关变量计算典型相关变量V的系数的系数r=sqrt(sum(da), %计算典型相关系数计算典型相关系数以上过程的以上过程的MATLAB实现程序如下：实现程序如下：61/24第第5章章 主成分与典型相关分析主成分与典型相关分析 例例5.3.1 设样本的相关系数矩阵为设样本的相关系数矩阵为 10.5050.5690.6020.50510.4220.4670.5690.42210.9260.6020.4670.9261计算典型相关系数与典型相关变量计算典型相关系数与典型相关变量.解：由于给出了相关系数矩阵，计算程序如下解：由于给出了相关系数矩阵，计

26、算程序如下R11=1,0.505;0.505,1;R12=0.569,0.602;0.422,0.467;R21=0.569,0.422;0.602,0.467;R22=1,0.926;0.926,1; v1,d1=eig(R11); %计算计算R11的特征值与单位正交向量的特征值与单位正交向量v2,d2=eig(R22); %计算计算R22的特征值与单位正交向量的特征值与单位正交向量62/24第第5章章 主成分与典型相关分析主成分与典型相关分析 p1=inv(v1*sqrt(d1)*v1); %p1就是平方根矩阵的逆就是平方根矩阵的逆 p2=inv(v2*sqrt(d2)*v2); %p2就

27、是平方根矩阵的逆就是平方根矩阵的逆 T1=p1*R12*inv(R22)*R21*p1; %计算矩阵计算矩阵AT2=p2*R21*inv(R11)*R12*p2; %计算矩阵计算矩阵B va,da=eig(T1),vb,db=eig(T2),A1=p1*va, %计算典型相关变量计算典型相关变量U的系数的系数B1=p2*vb, %计算典型相关变量计算典型相关变量V的系数的系数r=sqrt(sum(da), %计算典型相关系数计算典型相关系数典型相关系数为典型相关系数为: 120.6311,0.0568典型变量为：典型变量为：1121122122120.78080.3445, 0.06030.9

28、439-0.85601.1062, -2.64822.4749.UXXVYYUXXVYY63/24第第5章章 主成分与典型相关分析主成分与典型相关分析 5.3.2样本的典型变量与典型相关系数样本的典型变量与典型相关系数 在实际问题中在实际问题中(XT,YT)T的协方差矩阵的协方差矩阵 (或相关系或相关系数矩阵数矩阵R)一般是未知的，我们所具有的资料通常是一般是未知的，我们所具有的资料通常是关于关于X和和Y的的n组组观测数据观测数据:), 2 , 1( ,),(), 2 , 1( ,),(2121qjyyyYpixxxXTjnjjjTiniii 同主成分分析一样，利用观测数据的样本协方差矩同主成

29、分分析一样，利用观测数据的样本协方差矩阵或者相关系数矩阵阵或者相关系数矩阵22211211SSSSS22211211RRRRR或或作为作为 或或 的估计，其中的估计，其中TniTiiniTiiniTiiSSYYXXnSYYYYnSXXXXnS1221112122111,)(11,)(11,)(1164/24第第5章章 主成分与典型相关分析主成分与典型相关分析 以以S代替代替 或或R代替代替 所求得的典型变量和典型相关系所求得的典型变量和典型相关系数分别称为样本典型变量和样本典型相关系数。此数分别称为样本典型变量和样本典型相关系数。此时样本典型变量和典型相关系数计算方法同总体典时样本典型变量和典

30、型相关系数计算方法同总体典型变量和典型相关系数的计算方法一样。型变量和典型相关系数的计算方法一样。在在MATLAB中，样本典型相关分析的命令中，样本典型相关分析的命令canoncorr，其调用格式为，其调用格式为A,B,r,U,V,stats = canoncorr(X,Y)其中输入其中输入X表示第一组向量的观测矩阵，表示第一组向量的观测矩阵，Y表示第二表示第二组向量的观测矩阵，输出组向量的观测矩阵，输出A,B是典型相关变量的系数是典型相关变量的系数矩阵；矩阵；r表示典型相关系数；表示典型相关系数；U,V表示表示典型相关变量典型相关变量的得分；输出的得分；输出stats包括包括wilks 、c

31、hisq及及F统计量以统计量以及相应的概率。及相应的概率。65/24第第5章章 主成分与典型相关分析主成分与典型相关分析 例例5.3.2 某康复俱乐部对某康复俱乐部对20名中年人测量了三项生理名中年人测量了三项生理指标：体重指标：体重(weight)、腰围、腰围(waist)、脉搏、脉搏(pulse )和三项和三项训练指标：引体向上训练指标：引体向上(chins )、起坐次数、起坐次数(situps )、跳、跳跃次数跃次数(jumps )。其数据列于表。其数据列于表5.6。试分析这两组变。试分析这两组变量间的相关性。量间的相关性。解：三项生理指标作为第一组向量解：三项生理指标作为第一组向量X，

32、三项训练指，三项训练指标作为第二组向量标作为第二组向量Y，表，表5.6中的数据作为样本数据中的数据作为样本数据，调用典型相关分析命令，调用典型相关分析命令.程序如下程序如下:DATA=; %将表将表5.6中的数据输入中的数据输入DATAX=DATA(:,1:3); %第一组向量观测值第一组向量观测值Y=DATA(:,4:6); %第二组向量观测值第二组向量观测值A,B,r,U,V,stats = canoncorr(X,Y)66/24第第5章章 主成分与典型相关分析主成分与典型相关分析 ObsObsweight weight waist waist pulse pulse chins chin

33、s situpssitups jumps jumps 1 1191191363650505 516216260602 2189189373752522 211011060603 31931933838585812121011011011014 416216235356262121210510537375 518918935354646131315515558586 6182182363656564 410110142427 7211211383856568 810110138388 8167167343460606 612512540409 91761763131747415152002004

34、040101015415433335656171725125125025011111691693434505017171201203838121216616633335252131321021011511513131541543434646414142152151051051414247247464650501 1505050501515193193363646466 67070313116162022023737626212122102101201201717176176373754544 460602525181815715732325252111123023080801919156156

35、33335454151522522573732020138138333368682 21101104343表表5.6 某康复俱乐部测量的生理指标和训练指标某康复俱乐部测量的生理指标和训练指标67/24第第5章章 主成分与典型相关分析主成分与典型相关分析 输出结果为：输出结果为：A = -0.0314 -0.0763 0.0077 0.4932 0.3687 -0.1580 -0.0082 -0.0321 -0.1457B = -0.0661 -0.0710 0.2453 -0.0168 0.0020 -0.0198 0.0140 0.0207 0.0082r =0.7956 0.2006 0.

36、072668/24第第5章章 主成分与典型相关分析主成分与典型相关分析 5.3.3典型相关系数的显著性检验典型相关系数的显著性检验设总体设总体X,Y的各对典型相关系数为的各对典型相关系数为 1 2 p 0首先提出检验原假设与备择假设首先提出检验原假设与备择假设( )( ):11011100HH 若不能拒绝原假设，则若不能拒绝原假设，则 1= 2 = = k=0，此时，此时不能做典型相关分析；若拒绝不能做典型相关分析；若拒绝H0(1),继续如下检验继续如下检验( )( ):22021200HH 若不能拒绝若不能拒绝H0(2),表明只有第一对典型变量显著相关表明只有第一对典型变量显著相关外，其余变量均不显著，实际应用只需考虑第一对外，其余变量均不显著，实际应用只需考虑第一