多元相关与回归分析ppt课件

1、第 9 章 多元线性回归9.1 多元线性回归模型多元线性回归模型 9.2 回归方程的拟合优度回归方程的拟合优度9.3 显著性检验显著性检验9.4 多重共线性多重共线性9.5 非线性回归非线性回归学习目的1. 回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度回归方程的拟合优度回归方程的显著性检验回归方程的显著性检验利用回归方程进展估计和预测利用回归方程进展估计和预测非线性回归非线性回归用用 SPSS 进展回归分析进展回归分析9.1 9.1 多元线性回归模型多元线性回归模型9.1.1 9.1.1 多元回归模型与回归方程多元回归模型与回归方程9.1.2 9

2、.1.2 估计的多元回归方程估计的多元回归方程9.1.3 9.1.3 参数的最小二乘估计参数的最小二乘估计多元回归模型与回归方程多元回归模型与回归方程多元回归模型 (multiple regression model)一个因变量与两个及两个以上自变量的回归描画因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程，称为多元回归模型涉及 p 个自变量的多元回归模型可表示为ppxxxy22110多元回归模型多元回归模型(根本假定根本假定) 误差项误差项是一个期望值为是一个期望值为0 0的随机变量，的随机变量，即即E()=0E()=0对于自变量对于自变量x1x1，x2x2，xpxp

3、的一切值，的一切值，的方差的方差 2 2都一样都一样误差项误差项是一个服从正态分布的随机变是一个服从正态分布的随机变量，即量，即-N(0,-N(0, 2)2)，且相互独立，且相互独立多元回归方程多元回归方程 (multiple regression equation)(multiple regression equation)描画因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xp的方程多元线性回归方程的方式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp估计的多元回归方程估计的多元回归的方程(estimated multiple regression equat

4、ion)用样本统计量 估计回归方程中的 参数 时得到的方程由最小二乘法求得p,210p,210ppxxxy22110p,210p,210y 参数的最小二乘估计参数的最小二乘法最小niiniipeyyQ1212210) (),(), 2 , 1(00000piQQiiip,210参数的最小二乘法(例题分析)9.2 9.2 回归方程的拟合优度回归方程的拟合优度9.2.1 9.2.1 多重断定系数多重断定系数9.2.2 9.2.2 估计规范误差估计规范误差多重断定系数多重断定系数多重断定系数(multiple coefficient of determination) 回归平方和占总平方和的比例计算

5、公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例 SSTSSESSTSSRyyyyRniinii112122 在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中添加自变量，即使新增的变量与添加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R2R2也能够上升，至少不会下降。也能够上升，至少不会下降。 在实践运用中，研讨人员更欢迎简单的模在实践运用中，研讨人员更欢迎简单的模型，这样的模型更简单和易于解释。假设型，这样的模型更简单和易于解释。假设根据根据R2R2来选择模型，显然会倾向于复杂的来选择模型，显然会倾向于复杂的模型。模型。 更常用的目的是更常用

6、的目的是“修正后的修正后的Ra2Ra2。修正的断定系数修正的断定系数修正多重断定系数修正多重断定系数(adjusted multiple coefficient of determination) 用样本容量用样本容量n和自变量的个数和自变量的个数p去修正去修正R2得到得到 计算公式为计算公式为防止添加自变量而高估防止添加自变量而高估 R2意义与意义与 R2类似类似数值小于数值小于R2111122pnnRRa估计规范误差 Sy对误差项的规范差 的一个估计值衡量多元回归方程的拟合优度计算公式为MSEpnSSEpnyySniiiy11129.3 显著性检验9.3.1 线性关系检验线性关系检验9.3

7、.2 回归系数检验和推断回归系数检验和推断线性关系检验线性关系检验检验因变量与一切自变量之间的线性关系能检验因变量与一切自变量之间的线性关系能否显著，也被称为总体的显著性检验否显著，也被称为总体的显著性检验检验方法是将回归离差平方和检验方法是将回归离差平方和(SSR)(SSR)同剩余离同剩余离差平方和差平方和(SSE)(SSE)加以比较，运用加以比较，运用 F F 检验来分检验来分析二者之间的差别能否显著析二者之间的差别能否显著假设是显著的，因变量与自变量之间存在线假设是显著的，因变量与自变量之间存在线性关系性关系假设不显著，因变量与自变量之间不存在线假设不显著，因变量与自变量之间不存在线性关

8、系性关系线性关系检验提出假设提出假设H0：12p=0 线性关系不显线性关系不显著著H1：1，2，p至少有一个不等于至少有一个不等于0) 1,(111212pnpFpnyypyypnSSEpSSRFniinii2. 2. 计算检验统计量计算检验统计量F F回归系数检验和推断 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要, ,因此需求进展检验：因此需求进展检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系每个回归系数都显著数都显著回归系数的检验(步骤)提出假设H0： bi = 0 (自变量 xi

9、 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t)1(pntStii回归系数的推断 (置信区间)回归系数在回归系数在1-1- 置信程度下的置信区间为置信程度下的置信区间为 ispnti2) 1(21xxssiy9.4 多重共线性9.4.1 多重共线性及其所产生的问题多重共线性及其所产生的问题9.4.2 多重共线性的判别多重共线性的判别9.4.3 多重共线性问题的处置多重共线性问题的处置多重共线性多重共线性回归模型中两个或两个以上的自变量彼此相关回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有多重共线性带来的问题有

10、t t检验值会减小、系数的显著性下降。检验值会减小、系数的显著性下降。对于一组存在高度多重共线性的自变量，很难对单对于一组存在高度多重共线性的自变量，很难对单个系数进展解释。个系数进展解释。 有能够导致各回归系数的符号同我们的预期相反有能够导致各回归系数的符号同我们的预期相反 。多重共线性的识别多重共线性的识别检测多重共线性的最简单的一种方法是计算模型检测多重共线性的最简单的一种方法是计算模型中各对自变量之间的相关系数，并对各相关系数中各对自变量之间的相关系数，并对各相关系数进展显著性检验进展显著性检验假设有一个或多个相关系数显著，就表示模型中假设有一个或多个相关系数显著，就表示模型中所用的自

11、变量之间相关，存在着多重共线性所用的自变量之间相关，存在着多重共线性假设出现以下情况，暗示存在多重共线性假设出现以下情况，暗示存在多重共线性模型中各对自变量之间显著相关。模型中各对自变量之间显著相关。当模型的线性关系检验当模型的线性关系检验(F检验检验)显著时，几乎一显著时，几乎一切回归系数的切回归系数的t检验却不显著检验却不显著 回归系数的正负号与预期的相反。回归系数的正负号与预期的相反。 多重共线性(例题分析)【例】判别各自变量之间能否存在多重共线性【例】判别各自变量之间能否存在多重共线性多重共线性(例题分析)【例】判别各自变量之间能否存在多重共线性【例】判别各自变量之间能否存在多重共线性

12、多重共线性(例题分析) t(25-2)=2.0687，一切统计量，一切统计量t t(25-2)=2.0687，所以均回绝原假设，阐明这，所以均回绝原假设，阐明这4个自变量两个自变量两两之间都有显著的相关关系两之间都有显著的相关关系由表由表Excel输出的结果可知，回归模型的线性关系显著输出的结果可知，回归模型的线性关系显著(Significance-F1.03539E-06=0.05) 。这也暗示了模型中。这也暗示了模型中存在多重共线性存在多重共线性固定资产投资额的回归系数为负号固定资产投资额的回归系数为负号(-0.029193) ，与预，与预期的不一致期的不一致多重共线性问题的处置多重共线性

13、(问题的处置)将一个或多个相关的自变量从模型中剔除，将一个或多个相关的自变量从模型中剔除，使保管的自变量尽能够不相关使保管的自变量尽能够不相关假设要在模型中保管一切的自变量，那么假设要在模型中保管一切的自变量，那么应应防止根据防止根据 t t 统计量对单个参数进展检验统计量对单个参数进展检验对因变量值的推断对因变量值的推断( (估计或预测估计或预测) )的限定在的限定在自变量样本值的范围内自变量样本值的范围内多元回归中的变量挑选 在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有显著的影响。有一些统计方法可以协助我们有显著的影响。有一些统计方法可以协助我们

14、从众多能够的自变量中挑选出重要的自变量。从众多能够的自变量中挑选出重要的自变量。SPSSSPSS软件提供了多种挑选自变量的方法：软件提供了多种挑选自变量的方法： “向前引入法向前引入法ForwardForward “向后剔除法向后剔除法BackwardBackward “逐渐引入逐渐引入剔除法剔除法StepwiseStepwise逐渐回归的思想 将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最亲相关最亲密的一元线性回归方程，然后再找出第二个变量，密的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，建立二元线性回归方程，。 在每一步中都要对引入变量的显著

15、性作检验，仅在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。量变得不显著了，就要将它剔除。 这些步骤反复进展，直到引入的变量都是显著的这些步骤反复进展，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就终了挑选而没有引入的变量都是不显著的时，就终了挑选变量的任务。变量的任务。 可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。 9.5 非线性回归9.5.1 双曲线双曲线9.5.2 幂函数

16、曲线幂函数曲线9.5.3 对数曲线对数曲线非线性回归非线性回归1.1. 因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2. 可经过变量代换转换成线性关系可经过变量代换转换成线性关系用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值并非一切的非线性模型都可以化为线性模并非一切的非线性模型都可以化为线性模型型双曲线xxy根本方式：线性化方法令：y = 1/y，x= 1/x, 那么有y = + x图像幂函数曲线根本方式：线性化方法两端取对数得：lg y = lg + lg x令：y = lgy，x= lg x，那么y = lg + x图像xy 对数曲线根本方式：线性化

17、方法x= lnx , 那么有y = + x图像xyln指数曲线根本方式：线性化方法两端取对数得：lny = ln + x令：y = lny，那么有y = ln + x图像xeyS 型曲线根本方式：线性化方法令：y = 1/y，x= e-x, 那么有y = + x图像xye1非线性回归(例题分析)【例】一种商品的需求量与其价钱有一定的关系。【例】一种商品的需求量与其价钱有一定的关系。现对一定时期内的商品价钱现对一定时期内的商品价钱x与需求量与需求量y进展察看，进展察看，获得的样本数据如下表。试判别商品价钱与需求量获得的样本数据如下表。试判别商品价钱与需求量之间回归函数的类型，并求需求量对价钱的回

18、归方之间回归函数的类型，并求需求量对价钱的回归方程程废品率与生产率的关系废品率与生产率的关系价格价格 (元元) x12345678910需求量需求量(千克千克) y58504438343029262524非线性回归 (例题分析)价格与需求量的散点图价格与需求量的散点图020406080051015价格需求量非线性回归 (例题分析)用双曲线模型：按线性回归的方法求解和 ，得xy1xyxx则有,1xy330084.87160397.18SPSS中可以进展的曲线回归包括：曲线回归的计算机实现： Spss：analyzeregressioncurve estimation； Eviews：quicke

19、stimate equation。例题：我国19782019年人均GDP数据1978年不变价，试建立人均GDP与时间之间的回归方程。1 1、画出散点图、画出散点图2 2、计算相关系数、计算相关系数CorrelationsCorrelations1.972*.99852*.98353*.000.000.00025252525.972*1.971*.921*.000.000.00025252525.999*.971*1.986*.000.000.00025252525.984*.921*.986*1.000.000.00025252525Pearson CorrelationSig. (2-tai

20、led)NPearson CorrelationSig. (2-tailed)NPearson CorrelationSig. (2-tailed)NPearson CorrelationSig. (2-tailed)N元，78不变，人均年度序号年度序号二次方年度序号三次方元，78不变，人均年度序号年度序号二次方年度序号三次方Correlation is significant at the 0.01 level (2-tailed).*. 3 3、进展回归、进展回归M Mo od de el l S Su um mm ma ar ry y a an nd d P Pa ar ra am me

21、 et te er r E Es st ti im ma at te es sDependent Variable: 元，78不变，人均.945398.132123.00026.87084.708.99720 3922.449222.000387.4904.571 3.082.99728 2566.953321.000368.93712.379 2.346.019EquationLinearQuadraticCubicR SquareFdf1df2Sig.Model SummaryConstantb1b2b3Parameter EstimatesThe independent variable

22、 is 年度序号.3 3、进展回归、进展回归4 4、精细比较、精细比较1 1二次曲线：决议系数二次曲线：决议系数2 2三次曲线：决议系数三次曲线：决议系数M M o o d d e e l l S S u u m m m m a a r r y y.999.997.99694935.415RR SquareAdjustedR SquareStd. Errorof theEstimateThe independent variable is 年度序号.M Mo od de el l S Su um mm ma ar ry y.999.997.99689235.746RR SquareAdjustedR SquareStd. Errorof theEstimateThe independent variable is 年度序号.4 4、精细比较、精细比较1 1二次曲线：二次曲线：F F检验检验2 2三次曲线：三次曲线：F F检验检验A AN NO OV VA A983947424919737.1553922.449.00027593.530221254.251986706824RegressionResidualTotalSum ofSquaresdfMean SquareFSig.The independent variable is 年度序号.A