SAS-典型相关分析

1、典型相关分析1 一、什么是典型相关分析及基本思想 通常情况下，为了研究两组变量 的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。2 在解决实际问题中，这种方法有广泛的应用。如，在工厂里常常要研究产品的q个质量指标P个原材料的指标 之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。3例 家庭特征与家庭消

2、费之间的关系 为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间的关系。4X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵5y2y3y1x2x16 典型相关分析的思想： 首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。如此下去，直至

3、两组变量的相关性被提取完为止。 7 u2和v2与u1和v1相互独立，但u2和v2相关。如此继续下去，直至进行到r步，rmin(p,q)，可以得到r组变量。从而达到降维的目的。8二、典型相关的数学描述 （一）想法 考虑两组变量的向量 其协方差阵为 其中11是第一组变量的协方差矩阵；22是第二组变量的协方差矩阵；12 和21是X和Y的其协方差矩阵。9 如果我们记两组变量的第一对线性组合为： 其中： 所以，典型相关分析就是求1和1，使二者的相关系数达到最大。10（二）典型相关系数和典型变量的求法 在约束条件下，求1和1，使uv达到最大。 根据数学分析中条件极值的求法，引入Lagrange乘数，求极值

4、问题，则可以转化为求 的极大值，其中和是 Lagrange乘数。11 将上面的3式分别左乘 和 12将 左乘（3）的第二式，得 并将第一式代入，得 的特征根是 ，相应的特征向量为13将 左乘（3）的第一式，并将第二式代入，得 的特征根是 ，相应的特征向量为14引理：AB和BA有相同的非零特征根.A和A有相同的非零特征根.则 和有相同的非零特征根。15 结论： 既是M1又是M2的特征根， 和 是相应于M1和M2的特征向量。 至此，典型相关分析转化为求M1和M2特征根和特征向量的问题。 第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出

5、第二对典型变量和他们的典型相关系数。16 在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：在约束条件： 17 求使 达到最大的 和 。18例 家庭特征与家庭消费之间的关系 为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间的关系。19X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵20典型相关分析典型相关系数调整典型相

6、关系数近似方差典型相关系数的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.03491921X组典型变量的系数U1U2X10.7689-1.4787X20.27211.6443Y组典型变量的系数V1V2Y10.04911.0003Y20.8975-0.5837Y30.19000.295622三、典型变量的性质1、同一组的典型变量之间互不相关 即X组的典型变量之间是相互互不相关:即Y组的典型变量之间是互不相关：232、不同组的典型变量之间相关性 不同组内典型变量之间的相关系数为：24同对则协方差为i ，不同对则为零。25

7、3、原始变量与典型变量之间的相关系数原始变量相关系数矩阵 x典型变量系数矩阵26y典型变量系数矩阵272829典型变量的结构U1U2X10.9866-0.1632X20.88720.4614V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.301330典型变量的结构V1V2X10.6787-0.0305X20.61040.0862U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.056331 两个反映消费的指标与第一对典型变量中u1的相关系数分别为0.9866和0.8872，可以看出u1可以作为消费特性的指标，第一对典型变

8、量中v1与Y2之间的相关系数为0.9822，可见典型变量v1主要代表了了家庭收入， u1和 v1的相关系数为0.6879，这就说明家庭的消费与一个家庭的收入之间其关系是很密切的；第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文化消费特性的指标，第二对典型变量中v2与Y1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量v2主要代表了家庭成员的年龄特征和教育程度， u2和 v2的相关系数为0.1869，说明文化消费与年龄和受教育程度之间的有关。324、各组原始变量被典型变量所解释的方差X组原始变量被ui解释的方差比例X组原始变量被vi解释的方差比例y组原

9、始变量被ui解释的方差比例y组原始变量被vi解释的方差比例33 被典型变量解释的X组原始变量的方差被本组的典型变量解释被对方Y组典型变量解释比例累计比例典型相关系数平方比例累计比例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.420834 被典型变量解释的Y组原始变量的方差被本组的典型变量解释被对方X组典型变量解释比例累计比例典型相关系数平方比例累计比例1 0.46890.46890.47330.22190.22192 0.27310.74200.03490.00950.231535五、样本典型相关系数 在实际应用中，总体的

10、协方差矩阵常常是未知的，类似于其他的统计分析方法，需要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利用估计得到的协方差或相关系数矩阵进行分析。由于估计中抽样误差的存在，所以估计以后还需要进行有关的假设检验。36 1、假设有X组和Y组变量，样本容量为n。假设( X1, Y1), ( X2, Y2), ( Xn, Yn)，观测值矩阵为：3738 2、计算特征根和特征向量 求M1和 M2的特征根 ，对应的特征向量 。则特征向量构成典型变量的系数，特征根为典型变量相关系数的平方。39六、典型相关系数的检验典型相关分析是否恰当，应该取决于两组原变量之间是否相关，如果两组变量之

11、间毫无相关性而言，则不应该作典型相关分析。用样本来估计总体的典型相关系数是否有误，需要进行检验。检验的统计量：（一）整体检验40所以，两边同时求行列式，有4142 由于 所以若M的特征根为 ，则(l-M)的特征根为(1-)。根据矩阵行列式与特征根的关系，可得：43 在原假设为真的情况下，检验的统计量 近似服从自由度为pq的2分布。在给定的显著性水平下，如果22 (pq)，则拒绝原假设，认为至少第一对典型变量之间的相关性显著。再检验下一对典型变量之间的相关性。直至相关性不显著为止。对两组变量x和y进行典型相关分析，采用的也是一种降维技术。我们希望使用尽可能少的典型变量对数，为此需要对一些较小的典

12、型相关系数是否为零进行假设检验。H0经检验被拒绝，则应进一步检验假设。 44（二）部分总体典型相关系数为零的检验 H0:P2Pr0 Hl:P2，P3，Pr至少有一个不为零。若原假设H0被接受，则认为只有第一对典型变量是有用的；若原假设H0被拒绝，则认为第二对典型变量也是有用的，并进一步检验假设： H0:P3Pr0 H1:P3，Pr至少有一个不为零。 如此进行下去.直至对某个k，H0:P(k十1)PM0H1:P(k+1),，Pm至少有一个不为零。45检验的统计量近似服从自由度为(p-k)(q-k)的2分布。在给定的显著性水平下，如果22 (p-k)(q-k)，则拒绝原假设，认为至少第k+1对典型

13、变量之间的相关性显著。46 H0: 当前和后面的典型相关系数均为零 H1: 至少当前的典型相关系数为零LikelihoodRatioApprox FNum DFDen DFPr F 10.508334981341.2346199900.0001 20.96508130180.838299960.0001可见，前面两对典型变量的相关性是很强的。47职业满意度典型相关分析 某调查公司从一个大型零售公司随机调查了784人，测量了5个职业特性指标和7个职业满意变量。讨论 两组指标之间是否相联系。X组： Y组：X1用户反馈 Y1主管满意度X2任务重要性 Y2事业前景满意度X3任务多样性 Y3财政满意度X

14、4任务特殊性 Y4工作强度满意度X5自主权 Y5公司地位满意度 Y6工作满意度 Y7总体满意度48X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.140.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X50.510.530.570.571.000.380

15、.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.251.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y60.370.350.370.290.360.370

16、.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.0049 Canonical Correlation AnalysisAdjustedCanonicalCorrelationApproxCanonicalCorrelationSquaredStandardErrorCanonicalCorrelation10.5537060.5530730.0069340.30659120.2364040.2346890.0094420.05588730.119186.0.0098580.01420540.07222

17、8.0.0099480.00521750.057270.0.0099680.00328050LikelihoodRatioApprox FNum DFDen DFPrF10.63988477134.42373542018.150.000120.9228094133.82422434848.670.000130.9774354115.26341527578.390.000140.9915203010.65798199820.000150.9967201510.9600399920.0001当前和后面的典型相关系数均为零的检验51U1U2U3U4U5X10.42170.3429-0.8577-0.

18、78840.0308X20.19511-0.66830.4434-0.26910.9832X30.1676-0.8532-0.25920.4688-0.9141X4-0.02290.3561-0.42311.04230.5244X50.45970.72870.9799-0.1682-0.4392X组的典型变量52V1V2V3V4V5Y10.4252-0.08800.4918-0.1284-0.4823Y20.20890.4363-0.7832-0.3405-0.7499Y3-0.0359-0.0929-0.4778-0.60590.3457Y40.02350.9260-0.00650.4044

19、0.3116Y50.2902-0.10110.2831-0.44690.7030Y60.5157-0.5543-0.41250.68760.1796Y7-0.1101-0.03170.92850.2739-0.0141Y组的典型变量53U1U2U3U4U5X10.82930.1093-0.4853-0.24690.0611X20.7304-0.43660.20010.00210.4857X30.7533-0.4661-0.10560.3020-0.3360X40.61600.2225-0.20530.66140.3026X50.86060.26600.38860.1484-0.1246V1V2

20、V3V4V5Y10.75640.04460.3395-0.1294-0.3370Y20.64390.3582-0.1717-0.3530-0.3335Y30.38720.0373-0.1767-0.53480.4148Y40.37720.7919-0.00540.28860.3341Y50.65320.10840.2092-0.43760.4346Y60.8040-0.2416-0.23480.40520.1964Y70.50240.16280.4933-0.18900.0678原始变量与本组典型变量之间的相关系数54V1V2V3V4V5X10.45920.0258-0.0578-0.0178

21、0.0035X20.4044-0.10320.02390.00020.0278X30.4171-0.1102-0.01260.0218-0.0192X40.34110.0526-0.02450.04780.0173X50.47650.06290.04630.0107-0.0071U1U2U3U4U5Y10.41880.01050.0405-0.0093-0.0193Y20.35650.0847-0.0205-0.0255-0.0191Y30.21440.0088-0.0211-0.03860.0238Y40.20880.1872-0.00060.02080.0191Y50.36170.0256

22、0.0249-0.03160.0249Y60.4452-0.0571-0.02800.02930.0112Y70.27820.03850.0588-0.01360.0039原始变量与对应组典型变量之间的相关系数55 可以看出，所有五个表示职业特性的变量与u1有大致相同的相关系数， u1视为形容职业特性的指标。第一对典型变量的第二个成员v1与Y1，Y2，Y5，Y6有较大的相关系数，说明v1主要代表了主管满意度，事业前景满意度，公司地位满意度和工种满意度。而u1和v1之间的相关系数0.5537。56 Canonical Redundancy Analysis Raw Variance of the

23、 VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.5818 0.5818 0.1784 0.1784 2 0.1080 0.6898 0.0060 0.1844 3 0.0960 0.7858 0.0014 0.1858 4 0.1223 0.9081 0.0006 0.1864 5 0.0919 1.0000 0.0003

24、0.1867 Raw Variance of the WITH Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.3721 0.3721 0.1141 0.1141 2 0.1222 0.4943 0.0068 0.1209 3 0.0740 0.5683 0.0011 0.1220 4 0.1289 0.6972 0.0007 0.1

25、226 5 0.1058 0.8030 0.0003 0.123057u1和v1解释的本组原始变量的比率：X组的原始变量被u1到u5解释了100%Y组的原始变量被v1到v5解释了80.3%X组的原始变量被u1到u4解释了90.81%Y组的原始变量被v1到v4解释了69.72%58房地产指标典型相关分析报告 在对房地产指标的典型相关分析中建立了如下的指标体系：X1：开发公司个数（个） X2：年平均职工人数（人）X3：自开始建设至本年底累计完成投资X4：本年完成投资 X5：施工房屋面积（万平方米）Y1：经营总收入 Y2：土地转让收入Y3：商品房屋销售收入 Y4：房屋出租收入Y5：经营税金及附加 Y

26、6：营业利润Y7：竣工房屋面积（万平方米）Y8：竣工房屋价值（万元）其中，X1-X5是反映房地产投入的变量，Y1-Y8是反映房地产产出的变量。数据来源于1999中国统计年鉴，选取了全国30个省市自治区的相应指标值（西藏和新疆两自治区因数据不全而删除59序号典型相关系数 典 型 变 量10.998716U1=-0.1769X1+0.0639X2+0.7264X3+0.3633X4+0.0053X5V1=2.5217Y1+0.1720Y2-1.7370Y3-0.1993Y4-0.0886Y5-0.3747Y6-0.1016Y7+0.6610Y820.980640U2=0.3319X1+0.0785

27、X2-3.3077X3+1.8943X4+1.2047X5V2=-2.0308Y1-0.2555Y2+0.3219Y3+0.4304Y4+1.4052Y5+0.4774Y6+2.0697Y7-1.8594Y830.916191U3=-1.1339X1-3.1176X2+1.2803X3-3.9436X4+6.7392X5V3=0.3990Y1-0.6098Y2-0.7852Y3-2.0872Y4+4.2927Y5-0.6167Y6-1.6135Y7+0.5071Y840.757332U4=1.4478X1-1.7250X2-4.4766X3+8.1918X4+3.5963X5V4=-8.053

28、1Y1-0.9941Y2-1.6221Y3-1.3311Y4+5.1584Y5+1.6818Y6-0.9464Y7+6.4783Y850.739978U5=-3.7387X1+2.3073X2-2.0488X3+1.8063X4+1.4170X5V5=4.7208Y1-0.3733Y2-4.4002Y3+3.1983Y4-4.2877Y5-1.8271Y6+1.5460Y8+0.9555Y960第一对典型变量中，U1主要受自开始建设至本年底累计完成投资影响，V1主要受经营总收入和商品房屋销售收入影响；第二对典型变量中，U2主要受自开始建设至本年底累计完成投资、本年完成投资和施工房屋面积影响，V

29、2主要受经营税金及附加、竣工房屋面积和竣工房屋价值影响：第三对典型变量中，U3受各个指标影响都较大，V4主要受房屋出租收入、经营税金及附加和竣工房屋面积的影响；第四对典型变量中，U4主要受本年完成投资的影响，V4主要受经营总收入和工房屋价值的影响。第五对典型变量中，U5主要受开发公司个数影响，V4主要受经营总收入、商品房屋销售收入、房屋出租收入和经营税金及附加影响。但注意到，第一对典型变量的方差贡献率已达92.20%,故保留第一对典型变量用作分析，从而达到降维的目的。 总的来说，房地产的投入变量主要受自开始建设至本年底累计完成投资影响，产出变量集中在经营总收入和商品房屋销售收入上。累计完成投资额与经营总收入，特别是商品房屋销售收入高度相关。61 典型相关分析的基本思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有最大相关性。如此下去，直至两组变量的相关性被提取完为止。本例想利用我国1999年城镇居民的家庭收入来源和消费性支出的数据