两个多重相关变量组的统计分析数学毕业论文

1、两个多重相关变量组的统计分析摘 要本文介绍两组相关变量问的典型相关与典型冗余分析的统计分析方法，以及在sas软件包中如何实现，文中给出了一个典型的例子。关键词：统计分析；典型相关；典型冗余分析 在实际问题中，经常遇到需要研究两组变量间的相关关系，而且每组变量中间常常存在多重相关性。比如工厂生产的产品质量指标与原材料、工艺指标间的相关关系；体育科研中运动员的体力测试指标与运动能力指标间的相关关系；经济领域中投资性变量与国民收入变量间的相关关系；教育学中学生高考各科成绩与高二年级各主科成绩间的相关关系；医学研究中患某种疾病病人的各种症状程度与用科学方法检查的一些指标间的相关关系等等。 研究两个变量

2、组之间相关关系的常用方法是多元统计中的典型相关分析(参考2和 3)。如果进一步研究这两组多重相关变量间的相互依赖关系，即考虑多对多的回归建模问题，除了最小二乘准则下的多对多回归分析、双重筛选逐步回归分析，以及提取自变量成分的主成分回归等方法外，还有近年发展起来的偏最小二乘(pls)回归方法。关于多对多回归建模问题，我们将另文介绍。本文介绍典型相关与典型冗余分析，它是偏最小二乘回归的理论基础。 一 典型相关分析的基本思想与解法 第一组变量记为x= ，第二组变量记为y= (不妨设pq)。典型相关分析借助于主成分分析提取成分的思想，从第一组变量x提取典型成分v (v是x1,xp的线性组合)；再从第二

3、组变量y提取典型成分w(w是y1,yq的线性组合)， 并要求v和w 的相关程度达到最大。这时v和w 的相关程度可以大致反映两组变量x和y的相关关系。记p+q维随机向量z=的协差阵=，其中11一是x的协差阵，22：是y的协差阵，l2=21是x，y的协差阵。我们用x和y的线性组合v=x和w=y之问的相关来研究x和y之间的相关。我们希望找到a和b，使(v，w)最大。由相关系数的定义， (v，w)=分析上式将发现：在使得v,w的相关达最大的同时， v和w的方差将达最小，这说明按此准则得到的典型成分v和w，对原变量组x和y的代表性最差，它们无法更多地反映原变量组的变异信息。另方面因v，w任意线性组合的相

4、关系数与 v，w 的相关系数相等，即使得相关系数最大的v=x和w=x并不唯一。故在典型相关分析解法中附加了约束条件： var(u) = 11a = 1 var(v)= 22b = 1。问题化为在约束条件var(u)=1，var(v)=1下，求a和b，使得(u,v)= l2b达最大。定义l 设x=，y=，p+q维随机向量的均值向量为 o，协差阵o(不妨设pq)。如果存在a1 = (al1，alp)和b1 = (b1l，b1q)使得 1=(1x， ly)= 则称x , y是x，y的第一对典型相关变量，它们之间的相关系数称为第一个典型相关系数。 如果存在和使得 kx , ky和前面 k-1对典型变量

5、都不关； var(kx) = l，var( ky) = 1； kx与 ky的相关系数 最大，则称kx , ky是x，y的第k对典型相关变量，它们之间的相关系数称为第k个典型相关系数。已知p+q维总体z的n次中心化观测数据阵为:若假定,则协差阵的最大似然估计为 下面我们将从样本协差阵s出发，来讨论两组变量问的相关关系。 令为pq阵，则pq阵和qq阵的非零特征根相同，且非零特征根均为正的。若rk(t)=rk(s12)=rp(因pq)，非零特征根依次为 o(且io，i=1，r)。记r阶对角阵d=diag(i，r)。利用pq阵t的奇异值分解定理(参考4)有其中口(i=l，r)为对应于的单位正交特征向量

6、；(i=1，r)为对应于的单位正交特征向量，且与满足关系式： 。令 ,容易验证与满足：则为x,y的第i对样本典型相关变量，为第i个样本典型相关系数。二 典型相关系数的显著性检验 总体z的两组变量x=和y=如果不相关，即cov(x,y)= 12=0，以上有关两组变量典型相关的讨论就毫无意义.故在讨论两组变量间的相关关系之前，应首先对假设h0：l2=0作统计检验，它等价于检验h0：l=0。 设总体，用似然比方法可导出检验h0：l2=0的似然比统计量，利用矩阵行列式及其分块行列式的关系，可得出 其中p+q阶方阵s是的最大似然估计量，sy分别是ij (i,j=1,2)的最大似然估计是的特征值。 统计量

7、的精确分布已由hotelting(1936年)等人给出，但表达式很复杂。由统计量 出发可导出检验h0的近似检验方法，如 willks统计量，pillai的迹，hotettintg-lawley迹和roy的极大根等(参阅2)。 当否定h0时，表明x,y相关，进而可得出至少第一个典型相关系数10。相应的第一 对典型相关变量v1,w1可能已经提取了两组变量相关关系的绝大部分信息。两组变量余下的部分可认为不相关，这时1(i=2,p)。故在否定h0后，有必要检验即第i个及以后的所有典型相关系数均为0。利用似然比方法可导出检验的似然比统计量，并给出该统计量的近似分布。从i=2开始逐个检验，直到某个i0，使

8、相容时为止。这时说明第i0个及以后的所有典型相关系数均为0。假定经检验，前m个典型相关系数显著地不等于0(mp)。 三 典型结构与典型冗余分析 1典型结构 求出典型变量后，进一步可以来计算原始变量与典型变量之问的相关系数阵典型结 构。 记a=(al，a2，ar)为pr矩阵，b=(bl，b2，br)为qr矩阵，典型随机向量；随机向量z的协差阵为=0， 随机向量的协差阵为是的最大似然然估计。则 cov(x，v)=cov(x，x)=11a，cov(x，w)=cov(x，y)=12b， cov(y，v)=gov(y,x)= 12a，cov(y，w)=coy(x，y)=22b。 用sij代替以上公式中的

9、ij(i，j=1，2)，即可计算出原始变量与典型变量之间的协差阵。由协差阵还可以计算原始变量与典型变量之间的相关系数阵。若假定原始变量均为标准化变量，则以上计算得到的原始变量与典型变量的协方差阵就是相关系数阵。若计算这四个相关系数阵中各列(或各行)相关系数的平方和，还将得出下面一些有关的概念。 2几个概念 类似于主成分分析，把vk看成是由第一组标准化变量x提取的成分，wk看成是由第二组标准化变量y提取的成分，由相关阵r(x，v)=s11a=r(xj，vk)(p,r)和r(y，w)=s11b=r(xj，vk)(q,r)分别计算第k列的平方和。记 并称)(或)为第k个典型变量 vk(或wk)解释本

10、组变量x(或y)总变差的百分比。记 并称 (或)为前m(mr)个典型变量 ()解释本组变量x(或y)总变差的累计百分比。 在典型相关分析中，从两组变量分别提取的两个典型成分首先要求相关程度最大，同时也希望每个典型成分解释各组变差的百分比也尽可能的大。百分比的多少反映由每组变量提取的用于典型相关分析的变差的多少。 类似于主成分分析，还可以引入前m个典型变量对本组第j个变量xi(或yj，)的贡献等概念(参考1)。 3典型冗余分析 我们进一步来讨论典型变量解释另一组变量总变差百分比的问题。在典型相关分析中，因所提取的每对典型成分保证其相关程度达最大，故每个典型成分不仅解释了本组变量韵信息，还解释了另

11、一组变量的信息。典型相关系数越大，典型成分解释对方变量组变差的信息也将越多。类似可以定义)(或)为wk (或vk)解释另一组总变差的百分比。以下给出利用典型变量解释本组变差的百分比来计算解释另一组变差百分比的公式： ，事实上，由典型变量的系数ak与bk之间的关系：以及典型变量与原始变量(假定已标准化)的相关阵即得：r(xj，wk)= k(xj;vk)，故有=，类似可证明另一式。 表示第一组中典型变量解释的变差被第二组中典型变量重复解释的百分比，简称为第一组典型变量的冗余测度；表示第二组中典型变量解释的变差被第一组中典型变量重复解释的百分比，简称为第二组典型变量的冗余测度。冗余测度的大小表示这对

12、典型变量能够对另一组变差相互解释的程度大小。它将为进一步讨论多对多建模提供一些有用信息。四 应用例子一康复俱乐20名成员测试数据的典型相关分析 康复俱乐部对20名中年人测量了三个生理指标：weight(体重)，waist(腰围)，pulse(脉膊)和三个训练指标：chins(拉单杠次数)，situps(仰卧起坐次数)，jumps(跳高)(数据见以下数据行)。试分析生理指标和训练指标这二组变量间的相关性。解 使用sas/stat软件中的cancorr过程来完成典型相关分析。首先把测试数据生成sas数据集，sas程序如下：data da20x6; input weight waist pulse

13、chins situps jumps;label wight =体重 waist=腰围 pulse=脉搏 chins=单杠 situps=仰卧起坐 jumps=跳高;cards;191 36 50 5 162 60 189 37 52 2 110 60193 38 58 12 101 101 162 35 62 12 105 37189 35 46 13 155 58 182 36 56 4 101 42211 38 56 8 101 38 167 34 60 6 125 40176 31 74 15 200 40 154 33 56 17 251 250169 34 50 17 120 38

14、 166 33 52 13 210 115154 34 64 14 215 105 247 46 50 1 50 50193 36 46 6 70 31 202 37 62 12 210 120156 33 54 15 225 73 138 33 68 2 110 43;run;proc cancorr data=da20x6 all vname=生理指标wname=训练指标; var weight waist pulse; with chins situps jumps;run; data步创建康复俱乐部测试数据的sas数据集(名为da20x6)，它有20个观测，6个变量。cancorr过程

15、用于对输入数据集da20x6做典型相关分析。选项all要求输出所有可选择的计算结果；vnaivie=给出var语句中变量组的标签为生理指标 ；wnaivie=对with语句给出的第二组变量规定标签为训练指标 。var语句列出第一组变量的名字，with列出第二组变量的名字。部分计算结果见输出1至输出5。 输出1 均值、标准差和两组变量问的相关系数 输出1列出6个变量的均值和标准差及生理指标和训练指标之间的相数。理指标和训练指标之间的相关性是中等的，其中waist和situps 相关系数最大为-0.6456。 待添加的隐藏文字内容2输出2 典型相关分析系数及显著性检验 输出2给出典型相关分析的一般

16、结果。第一典型相关系数为07956，它比生理指标和训练指标两组间的任一个相关系数都大 检验总体中所有典型相关均为o的零假设时显著性概率为0.0635(即prf的值)，故在=0.10的显著水平下，否定所有典型相关为0的假设。也就是至少有一个典型相关是显著的。从后面的检验结果可知，只有第一典型相关系数是显著不等于0的。因此，两组变量相关性的研究可转化为研究第一对典型相关变量的相关性。输出3 标准化后典型变量的系数 输出结果中还给出原始变量和标准化变量的典型相关变量的系数。因六个变量没有用相同单位测量，我们来分析标准化后的系数(见输出3)。来自生理指标的第一典型变量v1为(右上角带“*”的变量表示标

17、准化变量)： v1=-0.7754weight* + 1.5793waist* - 00591pulse* 它近似地是waist*和4weight*的加权差，在waist*上的权数更大些。v1在 pulse上系数近似为0 来自训练指标的第一典型变量w1为 w1=-0.3495chins* - 1054situps* + o7164jumps*它在situps*上的系数最大 这一对典型变量主要是反映腰围(waist*)和仰卧起坐(situps)的负相关关系。输出4 典型结构原始变量和典型变量的相关系数阵 由输出4可看出来自生理指标的第一典型变量v1与腰围(waist)的相关系数为0.92，v与体

18、重(weight)的相关为0.6206，它们都是正的。但典型变量v1在体重上的系数为负的(-0.7754)，即体重在v1的系数和它与v1的相关反号。来自训练指标的第一典型变量wl与三个训练指标的相关都是负值，其中跳高(jumps)在w1的系数(0.7164)和它与wl的相关(-0.1622)也是反号。因此，体重和跳高在这两组变量中是一个校正(或抑制)变量。 一个变量同典型变量的相关与在典型变量上的系数符号相反似乎是矛盾的。下面以体重为例来说明这一现象，我们知道肥胖性同腰围和体重之间的关系很密切的。一般说来，有理由认为胖的人比瘦的人仰卧起坐的次数少。假定这组样本中没有身高非常高的人，因此体重和腰

19、围之间的相关(08702)是很强的。 腰围大的人倾向于比腰围小的人胖。因此腰围与仰卧起坐为负相关(-0.6456)。 体重大的人倾向于比体重小的人胖。于是体重与仰卧起坐为负相关(-0.4931)。 考虑用多元回归方法由waist* (腰围)和weight* (体重)来预测situps* (仰卧起坐)，得到的回归式为：situps* =0.2833 weight* 0.8921 waist* ，回归式中weight* 系数的符号为正似乎不合理，关于系数的符号可解释如下： 若固定体重的值，腰围大的人倾向于较强壮和较胖，故而仰卧起坐次数少，于是腰围的多元回归系数(-0.8921)应是负的。 若固定腰围的值，体重大的人倾向于比较高和比较瘦，故而仰卧起坐次数多；因此体重的多元回归系数(0.2833)应为正的。这里体重与仰卧起坐的相关同体重的回归系数符号相反。因此，第一典型相关一般解释为以体重(weight)和跳高(jumps)作为校正(或抑制)变量来强化腰围(waist)和抑卧起坐(situps)之间的负相关关系。