第9章-典型相关分析.ppt

1、2020/7/4,主编：费宇,1,主编：费宇中国人民大学出版社,2020/7/4,主编：费宇,2,第9章典型相关分析,9.1典型相关分析基本理论9.2案例,2020/7/4,主编：费宇,3,9.1典型相关分析基本理论,典型相关分析是研究两组变量之间整体的相关关系,它将每一组变量作为一个整体来进行研究,所研究的两组变量可以是一组变量是自变量,另一组变量是因变量;当然,也可以两组变量处于同等地位.,2020/7/4,主编：费宇,4,9.1典型相关分析基本理论,典型相关分析的基本原理借助主成分分析的思想,在每组变量中找出变量的线性组合即新的综合变量,使生成的综合变量能代表原始变量的主要信息,同时,与

2、由另一组变量生成的新的综合变量的相关程度最大,这样得到的一组新变量称为第一对典型相关变量;同样的方法可以找到第二对典型相关变量,第三对典型相关变量要求各对典型相关变量之间互不相关.典型相关变量间的相关系数称为典型相关系数,可以衡量两组变量之间的相关性.,2020/7/4,主编：费宇,5,9.1典型相关分析基本理论,1.总体典型相关变量假设有两组变量,一组变量为x=(x1,x2,xp)T,另一组变量为y=(y1,y2,yq)T,且pq,变量x与变量y的协方差阵为,2020/7/4,主编：费宇,6,1.总体典型相关变量,为研究变量x与变量y之间的线性相关关系,我们考虑它们之间的线性组合u和v的方差

3、和协方差分别为,2020/7/4,主编：费宇,7,1.总体典型相关变量,两个新变量u和v之间的相关系数（即典型相关系数）为由于变量u和v乘以不为零常数不改变它们之间的相关性,即对任意常数c0,有Corr(cu,cv)=Corr(u,v),所以通常需对a和b附加约束条件,使变量a和b唯一,最好的约束条件是,2020/7/4,主编：费宇,8,1.总体典型相关变量,我们的问题就变成在上述约束条件下求a和b,使得达到最大.由拉格朗日乘数法,这个问题等价于求a和b使达到最大,其中和是拉格朗日乘数.,2020/7/4,主编：费宇,9,1.总体典型相关变量,将(9.7)两边分别对向量a和b求导,并令其为0,

4、得方程组以aT和bT分别左乘(9.8)两式得但(bT21a)T=aT21b=,所以=,即恰好就是u和v的相关系数.,2020/7/4,主编：费宇,10,1.总体典型相关变量,由方程组(9.8)的第二式得,将其代入(9.8)的第一式得,两边左乘以得,同理可得,记,则得这说明2既是A的特征根又是B的特征根,a和b是其相应的特征向量.,2020/7/4,主编：费宇,11,1.总体典型相关变量,于是求和a,b的问题就转化为求矩阵A和B的特征根和特征向量的问题.设A的p个特征根为,则称12p0为典型相关系数,相应的特征向量为a1,a2,ap和b1,b2,bp,从而可得p对线性组合每一对变量称为一对典型变

5、量,其中u1和v1称为第一对典型变量,它们之间的相关系数1称为第一典型相关系数.,2020/7/4,主编：费宇,12,2.典型相关变量的性质,我们不加证明的给出典型变量以下三个性质:(1)每一对典型变量ui及vi(i=1,2,p)的标准差为1.(2)任意两个典型变量ui(i=1,2,p)彼此不相关,任意两个典型变量vi(i=1,2,p)彼此不相关,且当,ui及vi也彼此不相关.(3)典型变量ui及vi的相关系数为i(i=1,2,p),典型相关系数满足关系式112p0.,2020/7/4,主编：费宇,13,2.典型相关变量的性质,在理论上,典型变量的对数和相对应的典型相关系数的个数可以等于两组变

6、量中数目较少的那一组变量的个数,其中,u1及v1的相关系数反映的相关成分最多,所以称为第一对典型变量;u2及v2的相关系数反映的相关成分次之,所以称为第二对典型变量;以此类推.,2020/7/4,主编：费宇,14,3.样本典型相关变量,前面我们是从变量x与变量y的协方差阵出发考虑x与y的典型相关变量,这称为总体典型相关变量,但在实际例子中一般并不知道,因此通常采用样本协方差阵S代替.但是这时的特征根可能不在0和1的范围内,因此会出现软件输出中的特征根（比如远远大于1）不等于相关系数的平方的情况,这时,各种软件会给出调整后的相关系数.,2020/7/4,主编：费宇,15,3.样本典型相关变量,因

7、此,在大多数情况下,我们在进行典型相关分析时,需将数据标准化,这时样本协方差阵S即为样本相关阵R,就不会出现这种情况.根据样本相关阵R计算得到的典型相关变量,称为样本典型相关变量,具体计算过程如下.,2020/7/4,主编：费宇,16,3.样本典型相关变量,设容量为n的样本来自正态总体,两组变量的观测值分别记为x=(x1,x2,xp)T和y=(y1,y2,yq)T,不妨设pq,则样本数据矩阵为,2020/7/4,主编：费宇,17,（1）计算样本相关系数,（1）计算样本相关系数阵R,并将R剖分为其中,R11是第一组变量x的关系数阵,R22是第二组变量y的相关系数阵,而R12、R21(R12=R2

8、1T)为变量x与变量y的相关系数阵.,（2）计算典型相关系数及典型变量,（2）计算典型相关系数及典型变量首先求的特征根,并求对应的特征向量,它是a1,a2,ap的估计值;再求的特征根,以及r1r2rp0对应的特征向量,它是b1,b2,bp的估计值.这里r1r2rp0称为样本典型相关系数,而称为样本典型相关变量.,2020/7/4,主编：费宇,18,4.典型相关系数的显著性检验,典型相关系数是否显著的不为零,可以通过Bartlett大样本卡方检验来完成.设的p个特征根为,则典型相关系数1的显著性检验等价于以下检验H0:1=0,H1:10.检验统计量为,其中.在检验水平下,如果则拒绝原假设,认为第

9、一对典型变量显著相关.,2020/7/4,主编：费宇,19,4.典型相关系数的显著性检验,一般地,若前j-1个典型相关系数在水平下是显著的,则当检验第j个典型相关系数的显著性时,检验统计量为其中.,2020/7/4,20,主编：费宇,4.典型相关系数的显著性检验,需要指出的是,在实际应用上,通常通过典型相关系数的显著性检验以及典型变量和典型相关系数的实际解释,来确定究竟保留几对典型变量.所求得的典型变量的对数愈少愈容易解释,最好是第一对典型变量就能反映足够多的相关成分,只保留一对典型变量便比较理想.,2020/7/4,21,主编：费宇,9.2案例,表9.1我国科学研究与开发机构科技活动情况表,

10、2020/7/4,22,主编：费宇,9.2案例,表9.1给出了2005-2012年我国科学研究与开发机构科技投入和产出的部分代表指标.其中,科技投入指标为：x1,R利用这些数据进行典型相关分析来分析我国科学研究与开发机构科技投入和产出关系.,2020/7/4,23,主编：费宇,（1）计算相关系数矩阵,（1）计算相关系数矩阵：,下面程序求各分块矩阵的值.其中,R11=R1:4,1:4,R12=R1:4,5:7,R21=R5:7,1:4,R21=R5:7,5:7.,2020/7/4,24,主编：费宇,（2）特征值和典型相关系数,（2）求特征值和典型相关系数的R程序如下：特征值分别为9.993448

11、101、8.555178101、4.894137101、6.6461591017,开方得相应的典型相关系数：r1=9.996724101,r2=9.249421101,r3=6.995811101,r4=8.152398109.,2020/7/4,25,主编：费宇,（3）典型相关系数检验,（3）典型相关系数检验的R程序及结果（1）：,2020/7/4,26,主编：费宇,（3）典型相关系数检验,（3）典型相关系数检验的R程序及结果（2）：,2020/7/4,27,主编：费宇,（3）典型相关系数检验,由典型载荷可知,前两对典型相关变量的表达式为：经过典型相关系数的显著性检验,需要前两对典型变量,即

12、认为在=0.05水平上前两个典型相关是显著的.我们利用前两对典型变量分析问题,达到降维的目的,第一对和第二对典型变量的相关系数为0.9996724和0.92494211,说明U1和V1以及U1和V1之间具有高度的相关关系.,2020/7/4,28,主编：费宇,（3）典型相关系数检验,2020/7/4,29,主编：费宇,U1为我国科学研究与开发机构科技投入指标的线性组合,其中X2(R同时X2(R&D经费支出)较X1(R&D人员全时当量)有较大的载荷,说明科技投入过程中,经费所起作用大于人员的作用.V1是科学研究与开发机构科技产出指标的线性组合,其中有较大载荷的变量是Y2(专利申请受理数)和Y3(发明专利),说明专利申请受理数和发明专利对科学研究与开发机构科技产出贡献很大.,（3）典型相关系数检验,2020/7/4,30,主编：费宇,在第二对典型变量(U2,V2)中,U2为科学研究与开发机构科技投入指标的线性组合,其中仍然是X2(R我国科学研究与开发机构科技活动中,科技投入中大部分财力的贡献都得到了专利申请受理数和发明专利的回报.,（4）得分等值平面图,2020/7/4,31,主编：费宇,绘制得分等值平面图（见图91）,R程序如下：,（4）得分等值平面图,2020/7/4,32,主编：费