相关分析94762教学材料

相关分析

（CorrelationAnalysis）目录主成份分析典型相关分析预备知识若V是非负定矩阵，存在正交矩阵U（U'U=IP)，使：

其中

为V的特征根，且K为矩阵V的秩，若U=（u1,...up），ui是V相应特征值对应的特征向量，U正交，所以u1,....up长度为1，且两两正交。利用拉格朗日乘子法，令：则有：分别令其为0，得：

有非零解的充要条件要使a'Va最大即要最大，取对应的特征向量为u1.所以u1为问题的解，从而得y1=u’1x

若y1还不能充分反应X，则求第二个综合指标y2，令y2=a'x，还需满足y2与y1不相关，即cov(y2,y1)=0,而cov(y2,y1)=cov(a'x,u1'x)=a'cov(x,x)u1=a'Vu1=a'u1

所以

a'u1=0Max:a'Vas.t.a'a=1a'u1=0

y2=u2'x.................步骤（1）求X的协方差阵V的特征值，记为（2）求

对应的单位特征向量uj，j=1，....，k。（3）取yj=u'jx即为X的第j个主成份，j=1，...，k贡献率：表示第K个主成份提取了X中总信信息的份额。累计贡献率：表明前M个主成份提取了X中总信息的份额。计算公式：通常情况下累计贡献率超过85%就可以不往下求取主成份了。例题：由贡献率可知主成份为y1，y2y1：反映学生魁梧与否的综合指标。y2：学生体型的综合指标。变量的标准化在实际问题中，不同的变量往往会有不同的单位，这样会引起很大的误差，导致不合理的结果，所以要把变量标准化。即，令

这时X*=(X1*,X2*,....Xp*)T的协方差矩阵便是X=(X1，X2，...Xp)T的相关矩阵利用X的相关矩阵作主成份分析典型相关分析设X和Y分别为p维和q维的随机变量，研究X和Y之间的相关关系，从相关矩阵出发，找出两随机向量的各个分量两两之间的相关程度。但当维度过大，分析就比较繁琐。找出X、Y各个分量的一个线性组合z1和w1，并使z1和w1有最大的相关性。称z1和w1为典型变量。设x和y分别是维度为p、q的随机变量，(x,y)'的协方差矩阵为：

其中设u=(u1,.....up)'，v=(v1,.....vq)'。令z1=u'x；w1=v'y。选取u、v使得z1和w1的相关系数最大D(z1)=D(u'x)=u'V11u=1，D(w1)=D(v'y)=v'V22v=1cov(z1,w1)=cov(u'x,v'y)=u'cov(x,y)v=u'V12v问题变成为求u,v，使

Max:u'V12vs.t.u'V11u=1v'V22v=1利用拉格朗日乘子法因为V12=V21'所以同理

既是A的特征根也是B的特征根，且求A、B特征值对应的特征向量u1*，v1*。设u1*V11u1*=av1*V22v1*=b因V11>0，V22>0，所以a>0，b>0。则满足u1'V11u1=1v1'V22v1=1所以z1=u1'xw1=v1'y为第一对典型变量步骤设(x,y)'的协方差矩阵为(1)计算A=V11-1V12V22-1V21(2)求出A的所有非零特征根，记为(3)求A的相应于的规格化特征向量uj,并由式求vi，i=1,2,.....k(4)取zi=ui'x，wi=vi'y，zi，wi即为x,y的第i对典型变量，为典型相关系数。例题x1、x2表示高中入学考试数学英语的成绩y1、y2表示高