第十章典型相关分析

1、（一）简单相关系数（一）简单相关系数相关分析是分析变量之间的相关关系。相关分析是分析变量之间的相关关系。11221()()Y-Y)()YYXXXX（0.540.560.580.600.620.6401000020000300004000050000WX1()()0 xxyy()()0 xxyy()()0 xxyy()()0 xxyy( , )x y变量X和Y的样本相关系数样本相关系数为22()()()()XYXX Y YrXXY Y2222)()(YYnXXnYXXYn 1、变量X、Y都是随机变量随机变量，且相互对称相互对称，所以 。|r|1。YXXYrr 2、相关系数只反映两变量之间线性相关

2、的程度线性相关的程度，不能说明其非线性相关关系非线性相关关系。 3、相关系数虽能度量变量的线性相关程度，但不能确定变量之间的因果关系，也不能说明它具体接近哪一条直线。 下面的数据是公司连续26周销售额和广告成本以及该城市各主要百货公司的销售总额（含AFLFONSO公司的）和估计的竞争对手的广告费。（美圆） 周次AFLFONSO公司百货公司销售总额X2其它百货公司的广告费X3Y销售额 广告费X112170787119003710113200021994291149003369873251680685109002819941262266506980038976892500这些数据能揭示出AFLFO

3、NSO公司的所做报纸广告带来的真实收益吗？ 广告费与销售额的散点图广告费与销售额的散点图 16000001800000200000022000002400000260000001000020000300004000050000YX1009917. 0)()Y-Y)(21211XXXXYY（广告费与市场占有率的散点图广告费与市场占有率的散点图0.540.560.580.600.620.6401000020000300004000050000WX188217. 0 1、问题提出x3x1 x2x3x1 x2yxxyxx1221这时，产生了通径 121212212,22,11y xy xx xy x

4、xy xx xrrrrrrX543210-1Y8765432Pearson相关系数表相关系数表该表的含义是说Pearson相关系数为相关系数为-0.283，Sig.是检验Ho:和Y不相关的显著性水平（P值），因为Sig.0.214，则不能拒绝原假设，但是从前面的散点图，实际上除了那个异常点外，二者是相关的。11(,),(,)nnRSRS) 1(61)()()(21211221nndSSRRSSRRrniininiiiniiisiiiSRD优点：稳健，不受极端值影响优点：稳健，不受极端值影响),(21pxxx),(21qyyy通常情况下，为了研究两组变量如何讨论两组变量的关系呢？ 在解决实际问题

5、中，这种方法有广泛的应用。如，在工厂里常常要研究产品的p个质量指标 和q个原材料的指标 之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。),(21pxxx),(21qyyyX1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.1

6、40.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X50.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.2

7、51.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y60.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.00：户主受教育程度：家庭的年收入：户主的年龄321yyy：每年外出看电影频率率：每年去餐馆就餐的频21xxX1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.6

8、70.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵（两两相关）fyY1ey111Y2ey21Y3ey31fxX1ex111X2ex21典型相关分析是结构方程模型的特例典型相关分析是结构方程模型的特例y2y3y1x2x133122111112211111ybybybVxaxau33222211222221122ybybybvxaxau?),(11vu?),(22vu第二节第二节 总体典型相关分析总体典型相关分析 一、典型相关和典型相关变量的定义一、典型相关和典型相关变量的定义 设设X X和和Y Y分别为分别为p p和和q q维的随机向量。如果存在维

9、的随机向量。如果存在a a1 1和和b b1 1，使得，使得111111() 1,() 1(,)max(,)VarVar X Ya X b Y X Y则称则称 是是X X和和Y Y的第一对典型相关的第一对典型相关变量，其相关系数称为典型相关系数。变量，其相关系数称为典型相关系数。不妨假设不妨假设 0。1111,uva Xb Y 首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。如此下去，直至两组变量的相关性被提取完为止。 1111212111112121ppqqua xa xa x

10、vb yb yb y11221122rrrprprrrqrqua xa xa xvb yb yb y从而达到降维的目的。1(,)rUuu),(1rvvV1212(,)pqxxxyyyZ其协方差阵为pqpq11122122 其中11是第一组变量的协方差矩阵；22是第二组变量的协方差矩阵；12和21是X和Y的其协方差矩阵。1u1 X1v1= Y 求第一对典型变量相关变量就等价于，求11211(,)pp1R11211(,)qq1R111()()1Var uVar X1111 111()()1Var vVar1122Y 满足条件以下条件下111121(,)Cov X Y 可见典型相关分析就是求a1和b

11、1，即线性组合的系数，使二者的相关系数1达到最大，假设10。11,11( ,)u vCov u vmax121111(,)( )( )( )22VarVarVar11 111 Y Y Y 1112 1111 111121 1122 11(,)0(,)0 12112( , )u v 11222 12122221 111 10 112 1122221 11 并将其代入第一式，得11211122221 110 1121112222110p I1122221111210q I112111222211122221111200pq I I1111122221111222111122MM 1/21/21/2

12、1112221/22221111M AB1/21/2111222T 令1/21/21/2111222221/21121BA1/21/21/21/2111222222111BA TT1/21/21/22221111/21112222M CD1/21/2111222T 令1/21/21/2222111111/22212DC1/21/21/21/2222111111222DC T T2210p12,pa aaM2的p个非零特征根依次对应的特征向量为12,pb bb 求TTTT的非零特征根。的非零特征根。222120p1,mtt1/21/211222111kkkka = tb akuka XkVkb

13、Y111121cov()a x,b ya b1/21/21/211112222111111t t1111t TT t21111 1 1111ttt t1/21/21/21/21111222222111111t t 111121cov()a x,b ya b22111111111111ppii ii iiit t t tt t t t1/21/21/211112222111111t t1111t TT t1/21/21/21/21111222222111111t t 第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他

14、们的典型相关系数。2u2a x2v2b y在约束条件：2()1Var u2112a a2()1Var v2222b b122cov( ,)cov()0u u12111a x,a xa a12cov( ,)cov()0v v121112b y,b yb b 求使 达到最大的a和b。22cov(,)u v2122a b1,2,3,kr12221kkkkk1/21/211a = tb = a：户主受教育程度：家庭的年收入：户主的年龄321yyy：每年外出看电影频率率：每年去餐馆就餐的频21xxX1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34

15、y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵典型相关分析典型相关分析典型相典型相关系数关系数调整典型调整典型相关系数相关系数近似方差近似方差典型相关系典型相关系数的平方数的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.034919X组典型变量的系数 U1U2X10.7689-1.4787X20.27211.6443Y组典型变量的系数 V1V2Y10.04911.0003Y20.8975-0.5837Y30.19

16、000.29562112721. 07689. 0 xxu2126443. 14787. 1xxu32111900. 08975. 00491. 0yyyv32122956. 05837. 00003. 1yyyvkku a xkkv b yikrik;, 2 , 1,111/21/21111cov(,)cov()0kikikikiu ukia x,a xa aa at t1.X1.X组的典型变量之间组的典型变量之间互不相关互不相关: :由于其特征向量是正交的。由于其特征向量是正交的。2.Y2.Y组的典型变量之间是互不相关组的典型变量之间是互不相关11111222222221cov(, )co

17、v()110kikkiikikiikikiv vbb kiy, ya at TT tt tcov( ,)cov(,)ijiiu vxyab1/2111/211222111jji12t t11/211/211222111jji12t t11/211/211222111jji12t t10jjiijijit TTt),min(, 2 , 121ppi同对相关系数为i ，不同对则为零。11122122RRRRRx典型变量系数矩阵11121212221212rrrp rpppraaaaaaaaaAaaa11121212221212rrrq rqqqrbbbbbbbbbBbbby典型变量系数矩阵1122

18、cov( ,)ijjpjpx a xa xa x),cov(),cov(),cov(2211ppjijijixaxxaxxaxpkxxkjkia1,pkxxxkjjiikiaux1,/),(cov( ,)ijx u1122cov( ,)ijjpjqx b yb yb y),cov(),cov(),cov(2211ppjijijiybxybxybxqkyxkjkib1,qkxyxkjjiikibvx1,/),(cov( ,)ijx v1122cov(,)ijjpjpy a xa xa x),cov(),cov(),cov(2211ppjijijixayxayxaypkxykjkia1,pkyxy

19、kjjiikiauy1,/),(cov(,)ijy u1122cov(,)ijjpjqy b yb yb y),cov(),cov(),cov(2211ppjijijiybxybxybxqkyykjkib1,qkyyykjjiikibvy1,/),(cov(,)ijy v典型变量的结构，即变量间的相关系数 U1U2X10.9866-0.1632X20.88720.4614 V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.3013典型变量的结构，即变量间的相关系数 V1V2X10.6787-0.0305X20.61040.0862 U1U2Y10.28970

20、.1582Y20.6757-0.0206Y30.35390.056312222,()/iiiipuu xu xu xmpX组原始变量被vi解释的方差比例12222,()/iiiipvv xv xv xmpy组原始变量被ui解释的方差比例y组原始变量被vi解释的方差比例12222,()/iiiiquu yu yu ynq12222,()/iiiiqvv yv yv ynq 被典型变量解释的被典型变量解释的X组原始变量的方差组原始变量的方差被本组的典型变量解释被本组的典型变量解释被对方被对方Y组典型变量解释组典型变量解释比例比例累计比例累计比例典型相关典型相关系数平方系数平方比例比例累计比例累计比

21、例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.4208 被典型变量解释的被典型变量解释的Y组原始变量的方差组原始变量的方差被本组的典型变量解释被本组的典型变量解释被对方被对方X组典型变量解释组典型变量解释比例比例累计比例累计比例典型相关典型相关系数平方系数平方比例比例累计比例累计比例1 0.46890.46890.47330.22190.22192 0.27310.74200.03490.00950.2315典型变量的结构 U1U2X10.9866-0.1632X20.88720.4614 V1V2Y10.42110.84

22、64Y20.9822-0.1101Y30.51450.301312222,()/iiiipuu xu xu xmp111122222,()/ 2(0.98660.8872 )/ 20.8803uu xu xm221222222,()/ 2(0.16320.4614 )/ 20.1198uuxuxm221222222,()/3qvvyvyvyn111121222,()/3qvv yv yv yn12222,()/iiiiqvv yv yv ynq222(0.42110.98220.5145 )/30.4689222(0.84640.11010.3013 )/30.2731典型变量的结构 V1V2

23、X10.6787-0.0305X20.61040.0862 U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.056312222,() /iiiipvv xv xv xmp111122222,()/2(0.67870.6104 )/20.4166vv xv xm221222222,()/2(0.03050.0862 )/20.0042vvxvxm12222,()/iiiiquu yu yu ynq111121222,()/3quu yu yu yn221222222,()/3quuyuyuyn222(0.28970.67570.3539 )/30.22192

24、22(0.15820.02060.0563 )/30.0095nqnnpnqpqpqpqpyyxxyyxxyyxxyyxxyyxxZ11441441331231221221111111yyyxxyxxSSSSnn1111ZZ样本的协方差：qnqnpnpnqqppqqppqqppqqppyyyyxxxxyyyyxxxxyyyyxxxxyyyyxxxxyyyyxxxx111141414141313121312121212111111111Z)(111yxyyxyxxSSSSM令：)(112xyxxyxyySSSSM令：22221r), 2 , 1(riii和 2、计算特征根和特征向量（一）整体检验

25、)0:; 0:(10 xyxyHH0|xxyySSS ；即典型相关系数均为零, 0:10rH不为零中至少11), 2 , 1(:riHi检验的统计量yyyxxyxxSSSSS因为1xxxyxxxy1yxxxyxyyI0SSIS SS SISS0I又xy1xxyxyyxxSSSS00S所以，两边同时求行列式，有yyyxxyxxxy1xxyyyxxyxx1xxyxSSSSI0SSISSSSISS0Ixxxxxy1yyxyxxyxyxyySS|S|SSS S SSSyyxx11yyxxxyyxSSIS S S S0yyxx 11xyyxxxyy|S|IS S S SIM|S|S|(1)() IMII

26、IM IIM0yyxx 11xyyxxxyy|S|IS S S SIM|S|S|121(1)(1)(1)(1)ppii小，则支持备择假设。0211(1)(1)rrkiii ki k kqpknQln)1(21) 1(近似服从自由度为(p-k)(q-k)的2分布。在给定的显著性水平下，如果22 (p-k)(q-k)，则拒绝原假设，认为至少第k+1对典型变量之间的相关性显著。 H0: 当前和后面的典型相关系数均为零当前和后面的典型相关系数均为零 H1: 至少当前的典型相关系数为零至少当前的典型相关系数为零LikelihoodRatioApprox FNum DFDen DFPr F 10.5083

27、34981341.2346199900.0001 20.96508130180.838299960.0001可见，前面两对典型变量的相关性是很强的。X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.140.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X5

28、0.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.251.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y6

29、0.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.00 Canonical Correlation Analysis AdjustedCanonicalCorrelationApproxCanonicalCorrelationSquaredStandardError CanonicalCorrelation10.5537060.5530730.0069340.30659120.2364040.2346890.0094420.05588730.119186

30、.0.0098580.01420540.072228.0.0099480.00521750.057270.0.0099680.003280 LikelihoodRatioApprox FNum DFDen DFPrF10.63988477134.42373542018.150.000120.9228094133.82422434848.670.000130.9774354115.26341527578.390.000140.9915203010.65798199820.000150.9967201510.9600399920.0001当前和后面的典型相关系数均为零的检验 U1U2U3U4U5X

31、10.42170.3429-0.8577-0.78840.0308X20.19511-0.66830.4434-0.26910.9832X30.1676-0.8532-0.25920.4688-0.9141X4-0.02290.3561-0.42311.04230.5244X50.45970.72870.9799-0.1682-0.4392X组的典型变量V1V2V3V4V5Y10.4252-0.08800.4918-0.1284-0.4823Y20.20890.4363-0.7832-0.3405-0.7499Y3-0.0359-0.0929-0.4778-0.60590.3457Y40.02

32、350.9260-0.00650.40440.3116Y50.2902-0.10110.2831-0.44690.7030Y60.5157-0.5543-0.41250.68760.1796Y7-0.1101-0.03170.92850.2739-0.0141Y组的典型变量 U1U2U3U4U5X10.82930.1093-0.4853-0.24690.0611X20.7304-0.43660.20010.00210.4857X30.7533-0.4661-0.10560.3020-0.3360X40.61600.2225-0.20530.66140.3026X50.86060.26600.3

33、8860.1484-0.1246 V1V2V3V4V5Y10.75640.04460.3395-0.1294-0.3370Y20.64390.3582-0.1717-0.3530-0.3335Y30.38720.0373-0.1767-0.53480.4148Y40.37720.7919-0.00540.28860.3341Y50.65320.10840.2092-0.43760.4346Y60.8040-0.2416-0.23480.40520.1964Y70.50240.16280.4933-0.18900.0678原始变量与本组典型变量之间的相关系数 V1V2V3V4V5X10.4592

34、0.0258-0.0578-0.01780.0035X20.4044-0.10320.02390.00020.0278X30.4171-0.1102-0.01260.0218-0.0192X40.34110.0526-0.02450.04780.0173X50.47650.06290.04630.0107-0.0071 U1U2U3U4U5Y10.41880.01050.0405-0.0093-0.0193Y20.35650.0847-0.0205-0.0255-0.0191Y30.21440.0088-0.0211-0.03860.0238Y40.20880.1872-0.00060.020

35、80.0191Y50.36170.02560.0249-0.03160.0249Y60.4452-0.0571-0.02800.02930.0112Y70.27820.03850.0588-0.01360.0039原始变量与对应组典型变量之间的相关系数 Canonical Redundancy Analysis Raw Variance of the VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Cumulative Cumulative Proportion Proportion Proportion Proportion 1 0.5818 0.5818 0.1784 0.1784 2 0.1080 0.6898 0.0060 0.1844 3 0.0960 0.7858 0.0014 0.1858 40.12230.9081 0.0006 0.1864 5 0.0919 1.0000 0.0003 0.1867 Raw Variance of the WITH