《多元回归分析》 (2)ppt课件

1、第十一章第十一章多元回归多元回归本章引见多元回归的最根本知识，运用多元回归进展多项式回归分析的普通步骤，回归方程的显著性检验矩阵的复习：矩阵的复习： 什么叫矩阵什么叫矩阵 方阵方阵 对称阵对称阵 单位阵单位阵 行列式行列式 矩阵的运算矩阵的运算 矩阵的求逆矩阵的求逆在许多情况下，影响一个变量的要素往往有许多个，在许多情况下，影响一个变量的要素往往有许多个，因此，仅用简单回归进展预测其结果不够理想，因此，仅用简单回归进展预测其结果不够理想，因此该当研讨一个依变量和多个自变量的关系因此该当研讨一个依变量和多个自变量的关系这种研讨多个自变量和一个依变量的关系就是多元这种研讨多个自变量和一个依变量的关

2、系就是多元回归分析，简单回归分析仅研讨一个自变量和依回归分析，简单回归分析仅研讨一个自变量和依变量的关系，因此可以将简单回归看作是多元回变量的关系，因此可以将简单回归看作是多元回归的一种特例，是多元回归的根底归的一种特例，是多元回归的根底这里所研讨的多元回归也是线性回归，称为多元线这里所研讨的多元回归也是线性回归，称为多元线性回归性回归有两个自变量有两个自变量x1、x2时，称二元线性回归时，称二元线性回归有三个自变量有三个自变量x1、x2、x3时，称三元线性回归时，称三元线性回归有有m元自变量元自变量xi时，称时，称m元线性回归元线性回归以此类推以此类推例如：影响水生生物发病的要素有很多种，如

3、致病例如：影响水生生物发病的要素有很多种，如致病菌、营养、环境、消毒、污染、抗病力、药物等菌、营养、环境、消毒、污染、抗病力、药物等又如：影响动植物生化目的的要素也很多，既有外又如：影响动植物生化目的的要素也很多，既有外部要素，也有内部要素部要素，也有内部要素又如：影响渔场运营效益的要素有规模、养殖的鱼又如：影响渔场运营效益的要素有规模、养殖的鱼类、饲料、豢养密度、管理程度、药物的运用、类、饲料、豢养密度、管理程度、药物的运用、保健本钱、防疫等保健本钱、防疫等其中，有些影响要素是数量性质的，而有些虽是质其中，有些影响要素是数量性质的，而有些虽是质量性质的，但可以进展量化量性质的，但可以进展量化

4、将这些影响要素自变量与被影响的要素依变将这些影响要素自变量与被影响的要素依变量组合成一个线性函数，即建立一个多元线性量组合成一个线性函数，即建立一个多元线性回归方程来定量地阐明这种回归关系，其效果往回归方程来定量地阐明这种回归关系，其效果往往好于普通的分析往好于普通的分析第一节第一节 偏回归与偏相关偏回归与偏相关一、偏回归一、偏回归设影响依变量设影响依变量y的自变量的自变量xi有有m个个i=1,2,m我们可以建立一个多元线性回归方程：我们可以建立一个多元线性回归方程：01 122.mmybb xb xb x其中，其中，b0是常数项：是常数项：而而b1、b2、bi、.、bm分别为分别为x1、x2

5、、xi、xm对对y的偏回归系数的偏回归系数bi的含义是当的含义是当x1、x2、xi-1、xi+1、xm固定固定不变时，不变时，xi每变化一个单位，每变化一个单位，y发生变化的平均量发生变化的平均量二、多元回归方程的普通配置方法二、多元回归方程的普通配置方法多元回归方程中多元回归方程中bi的求解是经过最小二乘法来确定的的求解是经过最小二乘法来确定的即所选取的即所选取的bi必需使得离回归平方和必需使得离回归平方和Q最小，即：最小，即： 为最小为最小为了使方程的求解容易一些，先消去为了使方程的求解容易一些，先消去b001 122.mmbyb xb xb x2201 122.mmQyyybb xb x

6、b x消去消去b0： 代入代入Q式：式：令令那么那么分别求分别求Q对对bi的偏微分，并令之为的偏微分，并令之为0：01 122.mmbyb xb xb x221 1221 1222111222.mmmmmmmQyyyyb xb xb xb xb xb xyybxxbxxbxx111222,.,mmmYyy Xxx XxxXxx21122.mmQYb Xb Xb X11221111222211222.02.0.2.0mmmmmmmmQYb Xb Xb XXbQYb Xb Xb XXbQYb Xb Xb XXb整理之，得正规方程组：整理之，得正规方程组：其中：其中：2121211121122222

7、21122.mmmmmmmmmbXbX XbX XX YbX XbXbX XX YbX XbX XbXX Y22222222iijiiiiiixijijiijjijx xiiiiix yyxXxxxSSnxxX Xxxxxx xSPnxyX Yxxyyx ySPnyYyyySSn用矩阵方式表示之：用矩阵方式表示之：得：得：这一方式可以简写为：这一方式可以简写为：由于系数矩阵是一个对称的方阵，且普通满秩，因由于系数矩阵是一个对称的方阵，且普通满秩，因此可求逆，有解，且是独一解此可求逆，有解，且是独一解21111212221222212.mmmmmmmbX YXX XX XbX YX XXX Xb

8、X YX XX XX121111212221222212.mmmmmmmbX YXX XX XbX YX XXX XbX YX XX XX1bA Y当方程仅为二元或三元时，可用行列式或消元法求当方程仅为二元或三元时，可用行列式或消元法求解，但方程多元时，手工计算很费事，且不太能解，但方程多元时，手工计算很费事，且不太能够，因此必需借助统计软件在电脑上完成方程组够，因此必需借助统计软件在电脑上完成方程组的求解的求解下面我们举一个既典型又不典型的例子下面我们举一个既典型又不典型的例子从一批资料中获得如下数据：不同种类的池养亲鱼从一批资料中获得如下数据：不同种类的池养亲鱼的繁衍体重和怀卵量如下表，试

9、作回归分析的繁衍体重和怀卵量如下表，试作回归分析种类种类 平均体重平均体重 平均卵巢重平均卵巢重 平均绝对怀卵量平均绝对怀卵量 kg x1 kg x2 百万粒百万粒 y鲮鱼鲮鱼 0.85 0.14 0.205鲢鱼鲢鱼 4.46 0.90 0.630 草鱼草鱼 6.31 1.08 0.755鳙鱼鳙鱼 8.64 1.54 1.08青鱼青鱼 21.95 3.45 2.41我们先求一级数据：我们先求一级数据：接着求二级数据：接着求二级数据：建立二元回归方程：建立二元回归方程：解方程组解方程组1242.217.115.08xxy21222616.882316.27017.98345xxy121299.9

10、80969.978811.3888x xx yx y128.4421.4221.016xxy21222260.54510.1102.822XXY121239.9582827.093444.16504X XX YX Y1212260.54539.9582827.0934439.9582810.1104.165040bbbb有三种方法解此方程组，第一种为消元法；第二种有三种方法解此方程组，第一种为消元法；第二种为行列式法；第三种为矩阵法为行列式法；第三种为矩阵法行列式法：行列式法：260.54539.958281037.445839.9582810.110 NoImage127.0934439.9

11、58284.1650410.110107.486840.1036b 2260.54527.0934439.958284.165042.573090.00248b 01 1220.1379byb xb x得二元回归方程：得二元回归方程：矩阵法求解：矩阵法求解：求系数矩阵的逆矩阵：求系数矩阵的逆矩阵：得解得解120.13790.10360.00248yxx12260.54539.9582827.0934439.9582810.1104.16504bb1AbYbA Y10.009750.038520.038520.25114A120.009750.0385227.093440.10370.03852

12、0.251144.165040.0024bb这一二元线性方程组的生物学意义是：这一二元线性方程组的生物学意义是：当卵巢重不变时，怀卵量随不同种类鱼的体重变化当卵巢重不变时，怀卵量随不同种类鱼的体重变化而变化；当种类体重不变时，怀卵量随卵巢重的而变化；当种类体重不变时，怀卵量随卵巢重的变化而变化变化而变化与简单回归方程一样，多元线性回归方程也有一定与简单回归方程一样，多元线性回归方程也有一定的预测范围的预测范围三、多元回归方程的估计规范误三、多元回归方程的估计规范误求解多元回归方程我们用的是最小二乘原理：求解多元回归方程我们用的是最小二乘原理：由于每一个由于每一个y不能够与不能够与 一样，因此一

13、样，因此Q称为多元离回归平方和称为多元离回归平方和Q越大，表示越大，表示y与与 的差距越大，方程的预测效果就的差距越大，方程的预测效果就越差，因此可以用越差，因此可以用Q来表示多元回归方程的预测来表示多元回归方程的预测效果，即多元回归方程的估计规范误为：效果，即多元回归方程的估计规范误为：其中，其中，n为样本量，为样本量，m为自变量个数为自变量个数2minQyy y y0Q 12.1ymQSnm由于由于 因此，因此，四、偏回归系数规范误四、偏回归系数规范误多元回归方程求出后，应对偏回归系数进展显著性多元回归方程求出后，应对偏回归系数进展显著性检验：检验： 为为b的规范误的规范误其中，其中， 为

14、高斯乘数，即系数矩阵的逆为高斯乘数，即系数矩阵的逆 中主对角中主对角线上与每个自变量相应的元素线上与每个自变量相应的元素12.1yymSSUSnm2yQYUSSUiibbtsibs1Aiic12.ibymiissc将一切的自变量全纳入多元回归方程，这样的多元将一切的自变量全纳入多元回归方程，这样的多元回归方程称为全回归方程，对每一个回归方程称为全回归方程，对每一个bi进展检验，进展检验，将不显著的自变量剔出方程，方程内保管全部显将不显著的自变量剔出方程，方程内保管全部显著的自变量，而方程外不再有显著的自变量，这著的自变量，而方程外不再有显著的自变量，这样的多元回归方程称为样的多元回归方程称为“

15、最优回归方程最优回归方程剔出不显著的自变量后，方程应作相应的变化剔出不显著的自变量后，方程应作相应的变化统计软件中，计算统计软件中，计算“最优回归方程的常用方法为逐最优回归方程的常用方法为逐渐回归法渐回归法由于在普通情况下，我们都是借助于统计软件进展由于在普通情况下，我们都是借助于统计软件进展回归分析的，因此剔出不显著的自变量后方程如回归分析的，因此剔出不显著的自变量后方程如何变化这里不再作引见何变化这里不再作引见五、复相关指数五、复相关指数多元回归方程建立以后，用这一方程来预测多元回归方程建立以后，用这一方程来预测y其准其准确度如何，这种准确度的度量，就是多元相关分确度如何，这种准确度的度量

16、，就是多元相关分析析用来进展多元相关分析的目的就是复相关指数用来进展多元相关分析的目的就是复相关指数R2 R称为复相关系数，它表示称为复相关系数，它表示y与回归方程中自变量线与回归方程中自变量线性组合关系的亲密程度性组合关系的亲密程度而而R2那么是用多元回归方程进展预测的准确程度那么是用多元回归方程进展预测的准确程度R2的分布范围为的分布范围为0，1R2的显著性检验为：的显著性检验为：22URY2RR22111RRmU mFFQnmRnm回也可在求得也可在求得R以后，将其与以后，将其与r附表中相应的附表中相应的r值相比值相比较较假设假设R r0.05，表示，表示R显著显著假设假设R r0.01

17、，表示，表示R极显著极显著这种比较与前页的这种比较与前页的F-test的结果是一样的的结果是一样的需求留意的是，在查需求留意的是，在查r附表时，一定要留意变量的个附表时，一定要留意变量的个数，附表中是一切变量的个数，而不仅是自变量数，附表中是一切变量的个数，而不仅是自变量的个数的个数求该例的回归方程估计规范误、偏回归系数规范误、求该例的回归方程估计规范误、偏回归系数规范误、复相关指数复相关指数12.1122212.12.12.212.12.12.12.22.2.817210.0050.05(1)(1)2.8170.99822.822ymmmymymyymymymymymUbX Y bX YbX

18、 YQYUSSUQYUsnmnmURY22112221212212222212120.009750.25114XcXXX XXcXXX X1212.1112.220.05 0.009750.0049360.05 0.251140.025057bymbymsscssc对这一多元回归方程进展显著性检验：对这一多元回归方程进展显著性检验：上面两个上面两个F值该当是相等的值该当是相等的12.12.222.81722563.440.005210.99822554.550.0018121ymymUmFQnmRmFRnm回相关第三节第三节 多项式回归多项式回归在曲线回归分析中，有些曲线可以经直线化在曲线回归

19、分析中，有些曲线可以经直线化转换成直线方程来配置，有些那么不能经转换成直线方程来配置，有些那么不能经直线转换，如多项式回归直线转换，如多项式回归将多项式回归方程中的每一项将多项式回归方程中的每一项xi看作是一个看作是一个自变量自变量xi那么多项式回归可以转换成多元回归方程进那么多项式回归可以转换成多元回归方程进展求解展求解多变量的多项式同样可以经多元回归进展转多变量的多项式同样可以经多元回归进展转换换任何一个函数在一个不大的范围内都可以用任何一个函数在一个不大的范围内都可以用一个多项式作恣意的逼近一个多项式作恣意的逼近即取适当的项数所得到的多项式与恣意函数即取适当的项数所得到的多项式与恣意函数

20、方程两者的曲线可以有理想的拟合效果方程两者的曲线可以有理想的拟合效果因此，在很多情况下，我们可以不思索自变因此，在很多情况下，我们可以不思索自变量与依变量确实切函数关系，而用适宜的量与依变量确实切函数关系，而用适宜的多项式来进展分析多项式来进展分析例：太阳光对水层的穿透力随水层的添加而减弱，例：太阳光对水层的穿透力随水层的添加而减弱，因此光协作用也随之减弱。一定深度的浮游植物因此光协作用也随之减弱。一定深度的浮游植物在光协作用下所释放出的氧气假设刚好等于该深在光协作用下所释放出的氧气假设刚好等于该深度浮游生物的耗氧量，那么这一水层深度称为补度浮游生物的耗氧量，那么这一水层深度称为补偿深度。今测

21、得某地偿深度。今测得某地56月份晴天一日内不同时月份晴天一日内不同时间的补偿深度如下，试作回归分析间的补偿深度如下，试作回归分析时时 间间t 6 8 10 12 14 16 18 紫外线强度紫外线强度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48画散点图，可以看出，补偿深度与一日内的时间大画散点图，可以看出，补偿深度与一日内的时间大致呈抛物线关系，因此可以配置抛物线方程致呈抛物线关系，因此可以配置抛物线方程今简化数据，令今简化数据，令2126,72txxx xxyI n 06:00 08:00 10:00 12:00 14:00 16:00 18:000.40.60.81

22、.01.2X1 0 1 2 3 4 5 6X2 0 1 4 9 16 25 36Y 0.60 1.00 1.07 1.17 1.09 0.89 0.48 那么一级数据为：那么一级数据为：计算二级数据：计算二级数据：212222421223121221221,91,6.391,2275,6.0844441,18.3472.78,3,13,0.9xxxxyxxxxyx xx xxx yxyx yx yxxy221222211212121212219128,1092,0.4144721 9144116870.56,9.12xXxXYnxxX Xx xnX YX Y 组建正规方程组：组建正规方程组：解

23、之，得：解之，得：将将 代入，得：代入，得：计算各时间段的估测值，得下表计算各时间段的估测值，得下表1212281680.5616810929.12bbbb 1201 1222120.39140.06860.90.3914 30.0686130.61760.61760.39140.06860.61760.39140.0686bbbyb xb xyxxxx 62tx22660.61760.39140.0686221.1740.40150.0172ttIItt 时时 间间t 6 8 10 12 14 16 18 补偿深度补偿深度 I 0.6 1.0 1.07 1.17 1.09 0.89 0.48

24、预预 测测 值值 0.62 0.94 1.12 1.17 1.09 0.85 0.48 -0.02 0.06 -0.05 0.0 0.01 0.04 0.0对该多项式方程作显著性检验：对该多项式方程作显著性检验：复相关指数复相关指数 III20.0082II1122220.01,2,40.39140.560.06869.120.40640.41440.40640.00800.4062 2101.618.000.0082730.01UbX YbX YQYUIIFFp 220.40640.98070.4144URY0.9903R 该多项式回归方程的估计规范误为：该多项式回归方程的估计规范误为：两偏回归系数的高斯乘数分别为：两偏回归系数的高斯乘数分别为：因此因此b1的规范误的规范误 b2的规范误的规范误22112222121221222222121210920.464328 1092168780.011928 1092168XcXXX XXcXXX X12.1211.12220.0447 0.46430.03050.0447 0.0