典型相关分析

多元数据处理（典型相关分析）引言在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。然而，这些统计方法在研究两组变量之间的相关关系时却无能为力。比如要研究生理指标与训练指标的关系，居民生活环境与健康状况的关系，人口统计变量与消费变量（之间是否具有相关关系。阅读能力变量（阅读速度、阅读才能）与数学运算能力变量（数学运算速度、数学运算才能）是否相关。典型相关分析（CanonicalCorrelation）是研究两组变量之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。1936年霍特林（Hotelling）最早就“大学表现”和“入学前成绩”的关系、政府政策变量与经济目标变量的关系等问题进行了研究，提出了典型相关分析技术。之后，Cooley和Hohnes（1971），Tatsuoka（1971）及Mardia，Kent和Bibby（1979）等人对典型相关分析的应用进行了讨论，Kshirsagar（1972）则从理论上给出了最好的分析。典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。目前，典型相关分析已被应用于心理学、市场营销等领域。如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等问题的分析研究。第一章、典型相关的基本理论1.1典型相关分析的基本概念典型相关分析由Hotelling提出，其基本思想和主成分分析非常相似。首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间的相关性被提取完毕为此。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。设，是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量、，使得每一个综合变量是原变量的线性组合，即：（1-1）（1-2）为了确保典型变量的唯一性，只考虑方差为1的，的线性函数与，求使得它们相关系数达到最大的这一组。若存在常量，，在的条件下，使得相关系数为最大值，则称与是、的第一对典型相关变量。求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二对、第三对等典型相关变量。这些相关变量就反映了与之间的线性相关情况。1.2典型相关分析原理及方法设有两组随机向量，代表第一组的p个变量，代表第二组的q个变量，假设。令，则：（1-3）（1-4）根据典型相关分析的基本思想，要进行两组随机向量间的相关分析，首先要计算出各变量的线性组合，即典型变量。并使其相关系数达到最大。因此，设两组变量的线性组合分别为：（1-5）（1-6）即有：（1-7）（1-8）（1-9）（1-10）希望寻找使相关系数达到最大的向量a与b，由于随机向量乘以常数时并不改变它们的相关关系，所以，为防止结果的重复出现，令：（1-11）（1-12）那么：（1-13）在式（1-11）与（1-12）的约束条件下，求时达到最大的系数向量a与b。根据条件极值的求法引入Lagrange乘数，将问题转化为求解，（1-14）的极大值，其中是Lagrange乘数。根据求极值的必要条件有：（1-15）将式（1-15）分别左乘与得到：（1-16）即有：（1-17）因为，所以，知为线性组合U，V的相关系数。用代替方程组（1-15）中的，则为：（1-18）假定各随机变量协差阵的逆矩阵存在，则由方程组（1-18）中的第二式，可得：（1-19）将（1-19）代入方程组（1-18）的第一式，得，即有：（1-20）同理，由方程组（1-17）可得：（1-21）用分别左乘（1-20）和（1-21），得到：（1-22）即：（1-21）由此可见，具有相同的特征根，a，b则是其相应的特征向量，为了表示方便，令，其中A为阶矩阵，B为阶矩阵。因为，求最大值也就是求的最大值，而求的最大值又转化为求A和B的最大特征根。可以证明，A和B的特征根和特征向量有如下性质：（1）A和B具有相同的非零特征根，且所有的特征根非负；（2）A和B具有相同的特征根均在0~1之间；（3）设A和B具有相同的非零特征根为，，为A对应于的特征向量，为B对应于的特征向量。由于我们所求的是最大特征值及其对应的特征向量，因此，最大特征根对应的特征向量就是所求的典型变量的系数向量，即可得：（1-22）（1-23）称其为第一对典型变量，最大特征根的平方根即为两典型变量的相关系数，称其为第一典型相关系数。如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量。所以，典型变量和典型相关系数的计算可归结为矩阵A和B特征根及相应特征向量的求解。如果矩阵A和B的秩为r，则共有r对典型变量，第k对（）典型变量的系数向量分别是矩阵A和B第k特征根相应的特征向量，典型相关系数为。典型变量具有如下性质：（1）（2）第二章、样本典型相关分析2.1样本典型相关变量及典型相关系数的计算在实际分析应用中，总体的协差阵通常是未知的，往往需要从研究的总体中随机抽取一个样本，根据样本估计出总体的协差阵，并在此基础上进行典型相关分析。设服从正态分布，从总体中抽取样本容量为n的样本，得到下列数据矩阵：，（2-1）样本均值向量，，其中。样本协差阵，，其中，，由此可得矩阵A和B的样本估计：（2-2）如上所述，求解的特征根及其相应的特征向量，即可得到所要求的典型相关变量及其典型相关系数。若样本数据已经标准化处理，此时样本的协差阵就等于样本的相关系数矩阵。由此可得矩阵A和B的样本估计：（2-3）求解的特征根及相应的特征向量，即可得到典型变量及典型相关系数。此时相当于从相关矩阵出发计算典型变量。2.2典型相关系数的显著性检验本进行两组变量的典型相关分析时，应就两组变量的相关性进行检验。这是因为如果两个随机变量、互不相关，则两组变量协差阵。但是有可能得到的两组变量的样本协差阵不为零，因此，在用样本数据进行典型相关分析时应就两组变量的协差阵是否为零进行检验。即检验假设，根据随机向量的检验理论可知，用于检验的似然比统计量为：（2-4）在上式中的是矩阵A的第i特征值的估计值，。巴特莱特证明，当成立时，近似服从分布，其中，自由度。在给定的显著性水平下，当由样本计算的临界值时，拒绝原假设，认为两组变量间存在相关性。若总体典型相关系数，则相应的典型变量之间无相关关系，因此对分析与的影响不起作用，这样的典型变量可以不予考虑，于是提出如何根据样本资料来判断总体典型相关系数是否为零，以便确定应该取几个典型变量的问题。巴特莱特提出了一个根据样本数据检验总体典型相关系数是否等于零的方法。检验假设为：，用于检验的似然比统计量为：（2-5）由此可以证明，近似服从，其自由度为。首先检验。此时，则：（2-6）若，则拒绝原假设，也就是说至少有一个典型相关系数大于零，自然是最大的典型相关系数。若已判定，则再检验，此时，，则：（2-7）（2-8）近似服从，其中，如果，则拒绝原假设，也即认为至少有一个大于零，自然是。若已判断大于零，重复以上步骤直至。例2.1乐部对20名中年人测量了三个生理指标：体重（）腰围（），脉搏（）；三个训练指标：引体向上次数（），起坐次数（），跳跃次数（）。分析生理指标与训练指标的相关性。数据详见表2.1。表2.1康复俱乐部数据由表2.1数据可得：，，，代入可计算，。求得特征值为，，。和的相应的特征向量分别为：；根据前述的典型相关系数显著性检验方法，对于，至少有一个不为零。，故在下，生理指标与训练指标之间不存在相关性；而在下，，生理指标与训练指标之间存在相关性，且第一对典型变量相关显著。此时，，故在下，第二对典型变量间相关性不显著。说明生理指标和训练指标之间只有一对典型变量，即：第三章、典型相关分析应用3.1从相关矩阵出发计算典型相关典型相关分析涉及多个变量，不同的变量往往具有不同的量纲及不同的数量级别。在进行典型相关分析时，由于典型变量是原始变量的线性组合，具有不同量纲变量的线性组合显然失去了实际意义。其次，不同的数量级别会导致“以大吃小”，即数量级别小的变量的影响会被忽略，从而影响了分析结果的合理性。因此，为了消除量纲和数量级别的影响，必须对数据先做标准化变换处理，然后再做典型相关分析。显然，经标准化变换之后的协差阵就是相关系数矩阵，因而，也即通常应从相关矩阵出发进行典型相关分析。例3.1对于例2.1从相关系数矩阵出发进行典型相关分析。由计算得的特征值为：，，。其结果同协差阵出发计算得特征值相同，因此检验结果也相同，提取第一典型变量，按照类似的方法可求得典型变量系数向量：，进而标准化的第一对典型变量：3.2典型载荷分析载荷分析有助于更好地解释分析已提取的p对典型变量。所谓的典型载荷分析是指原始变量与典型变量之间的相关分析。令：（3-1）其中为p对典型变量系数向量组成的矩阵，U和V为p对典型变量组成的向量。则：（3-2）（3-3）故有：（3-4）同理可得，，，。对于经过标准化后的典型变量有：；；；。3.3典型冗余分析本典型相关分析时，为了了解每组变量提取出的典型变量所能解释的该组样本总体方差的比例，从而定量测度典型变量所包含的原始信息量的大小。对于标准化变换处理的样本数据协差阵就等于相关系数矩阵。因而，第一组变量样本的总方差为，第二组变量样本的总方差为。由上述典型载荷可知，和是样本典型相关系数矩阵，典型系数向量是矩阵的，，。那么，；。定义前r对典型变量对样本总方差的贡献为：（3-5）（3-6）则第一组样本方差由前r个典型变量解释的比例为：（3-7）第二组样本方差由前r个典型变量解释的比例为：（3-8）第四章、实例分析与计算实现试者的身体形态以及健康情况指标，如下表。第一组是身体形态变量，有年龄、体重、胸围和日抽烟量；第二组是健康状况变量，有脉搏、收缩压和舒张压。要求测量身体形态以及健康状况这两组变量之间的关系，用SPSS进行仿真，其主要过程如下：主要运行结果解释：CorrelationsforSet-1、CorrelationsforSet-2、CorrelationsBetweenSet-1andSet-2（分别给出两组变量内部以及两组变量之间的相关系数矩阵）2.CanonicalCorrelations（给出典型相关系数）可以看出第一典型相关系数达到0.957，第二典型相关系数为0.582，第三典型相关系数为0.180。从上表可以看出，来自身体形态指标的第一典型变量为：（抽烟量）的系数-0.721绝对值最大，反映身体形态的典型变量主要由抽烟量决定。而来自健康状况指标的第一典型变量为：脉搏）的系数-0.694绝对值最大，说明健康状况的典型变量主要由脉搏所决定。同时，由于两个典型变量中抽烟量和脉搏的系数是同号的（都为负），反映抽烟量和脉搏的正相关，即日抽烟越多则每分钟的脉搏跳动次数也越多。抽烟对身体健康有害，这和客观事实是相符