现代统计分析方法与应用课件 第五章 多元线性回归

2022/11/16中国人民大学六西格玛质量管理研究中心1第5章多元线性回归

§5.1多元线性回归模型§5.2多元回归参数的估计§5.3参数估计量的性质§5.4回归方程的显著性检验§5.5中心化和标准化§5.6相关阵与偏相关系数§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心1第2022/11/16中国人民大学六西格玛质量管理研究中心2第5章多元线性回归目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心2第2022/11/16中国人民大学六西格玛质量管理研究中心3§5.1多元线性回归模型一、多元线性回归模型的一般形式

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心3§2022/11/16中国人民大学六西格玛质量管理研究中心4§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心4§2022/11/16中国人民大学六西格玛质量管理研究中心5§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心5§2022/11/16中国人民大学六西格玛质量管理研究中心6§5.1多元线性回归模型矩阵X是一n×(p+1)矩阵,称X为回归设计矩阵或资料矩阵。在实验设计中，X的元素是预先设定并可以控制的,人的主观因素可作用其中,因而称X为设计矩阵。二、多元线性回归模型的基本假定为了方便地进行模型的参数估计,对回归方程（5.4）式有如下一些基本假定。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心6§2022/11/16中国人民大学六西格玛质量管理研究中心7§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心7§2022/11/16中国人民大学六西格玛质量管理研究中心8§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心8§2022/11/16中国人民大学六西格玛质量管理研究中心9§5.1多元线性回归模型三、多元线性回归方程的解释

为了给多元线性回归方程及其回归系数一个解释,下面以p=2的一个微观经济问题为例给出回归方程的几何解释和回归系数的经济意义。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心9§2022/11/16中国人民大学六西格玛质量管理研究中心10§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心102022/11/16中国人民大学六西格玛质量管理研究中心11§5.1多元线性回归模型对于回归方程（5.13）式的图形,已不像一元线性回归时那样,是一条直线,而是一个回归平面。而对一般情况的回归方程（5.3）式，当p>2时，回归方程是一个超平面，无法用几何图形表示。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心112022/11/16中国人民大学六西格玛质量管理研究中心12§5.2多元回归参数的估计

一、回归参数的普通最小二乘估计目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心122022/11/16中国人民大学六西格玛质量管理研究中心13§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心132022/11/16中国人民大学六西格玛质量管理研究中心14§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心142022/11/16中国人民大学六西格玛质量管理研究中心15§5.2多元回归参数的估计

二、回归值与残差目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心152022/11/16中国人民大学六西格玛质量管理研究中心16§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心162022/11/16中国人民大学六西格玛质量管理研究中心17§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心172022/11/16中国人民大学六西格玛质量管理研究中心18§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心182022/11/16中国人民大学六西格玛质量管理研究中心19§5.2多元回归参数的估计

这是一个重要的结论,我们在多元线性回归模型的基本假定中曾经用过它,这里就更可清楚这个假定的重要意义。结论说明,要想用OLSE估计多元线性回归模型的未知参数,样本容量必须不少于模型中参数的个数。在后边关于回归方程的假设检验中也少不了这一假设,否则检验无任何意义。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心192022/11/16中国人民大学六西格玛质量管理研究中心20§5.2多元回归参数的估计三、实例分析例5.1生产总值是衡量一个国家或地区经济发展状况的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等多方面的因素。本例研究财政支出对生产总值的影响。《中国统计年鉴》把财政支出划分为31个组成部分。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心202022/11/16中国人民大学六西格玛质量管理研究中心21§5.2多元回归参数的估计

采用2005年我国31个省、市、自治区的数据，以地区生产总值（万元）为因变量y，以如上13种支出为自变量做多元线性回归，数据见表5.1，其中自变量单位为万元人民币。用SPSS软件计算出回归系数表见表5.2：目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心212022/11/16中国人民大学六西格玛质量管理研究中心22§5.2多元回归参数的估计

这一回归方程并不理想,所选自变量数目过多，回归系数的显著性检验不能通过，自变量间存在共线性，回归系数的经济意义不好解释,这里只是作为多元线性回归参数估计的一例,后边我们将要进一步完善这一问题模型的建立。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心222022/11/16中国人民大学六西格玛质量管理研究中心23§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心232022/11/16中国人民大学六西格玛质量管理研究中心24§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心242022/11/16中国人民大学六西格玛质量管理研究中心25§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心252022/11/16中国人民大学六西格玛质量管理研究中心26§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心262022/11/16中国人民大学六西格玛质量管理研究中心27§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心272022/11/16中国人民大学六西格玛质量管理研究中心28§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心282022/11/16中国人民大学六西格玛质量管理研究中心29§5.3参数估计量的性质

性质4Gauss-Markov定理目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心292022/11/16中国人民大学六西格玛质量管理研究中心30§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心302022/11/16中国人民大学六西格玛质量管理研究中心31§5.4回归方程的显著性检验当求出线性回归方程后,还需对回归方程进行显著性检验。多元线性回归方程的显著性检验与一元线性回归方程的显著性检验既有相同之处，也有不同之处。下面介绍两种统计检验方法,一是回归方程显著性的F检验,另一个是回归系数显著性的t检验。同时介绍衡量回归拟合程度的拟合优度检验。一、F检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心312022/11/16中国人民大学六西格玛质量管理研究中心32§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心322022/11/16中国人民大学六西格玛质量管理研究中心33§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心332022/11/16中国人民大学六西格玛质量管理研究中心34§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心342022/11/16中国人民大学六西格玛质量管理研究中心35§5.4回归方程的显著性检验对例5.1题的数据,用SPSS软件计算出的方差分析表如下：

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心352022/11/16中国人民大学六西格玛质量管理研究中心36§5.4回归方程的显著性检验二、回归系数的显著性检验在多元线性回归中,回归方程显著并不意味着每个自变量对y的影响都显著,因此我们总想从回归方程中剔除那些次要的、可有可无的变量,重新建立更为简单的回归方程。所以就需要对每个自变量进行显著性检验。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心362022/11/16中国人民大学六西格玛质量管理研究中心37§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心372022/11/16中国人民大学六西格玛质量管理研究中心38§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心382022/11/16中国人民大学六西格玛质量管理研究中心39§5.4回归方程的显著性检验由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好，这个问题将在第七章逐步回归中做详细讨论。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心392022/11/16中国人民大学六西格玛质量管理研究中心40§5.4回归方程的显著性检验在此仅介绍一种简单的剔除多余变量的方法—后退法。当有多个自变量对因变量y无显著性影响时,由于自变量之间的交互作用,不能一次剔除掉所有不显著的变量。原则上每次只剔除一个变量,先剔除其中|t|值最小的（或P值最大的）一个变量,然后再对求得的新的回归方程进行检验,有不显著变量再剔除,直到保留的变量都对y有显著影响为止。也可根据对问题的定性分析选择t值较小的变量先剔除。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心402022/11/16中国人民大学六西格玛质量管理研究中心41§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心412022/11/16中国人民大学六西格玛质量管理研究中心42§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心422022/11/16中国人民大学六西格玛质量管理研究中心43§5.4回归方程的显著性检验在一元线性回归中，回归系数显著性的t检验与回归方程显著性的F检验是等价的，而在多元线性回归中，这两种检验不同。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心432022/11/16中国人民大学六西格玛质量管理研究中心44§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心442022/11/16中国人民大学六西格玛质量管理研究中心45§5.4回归方程的显著性检验三、拟合优度

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心452022/11/16中国人民大学六西格玛质量管理研究中心46§5.4回归方程的显著性检验在两个变量的简单相关系数中,相关系数有正负之分,而复相关系数表示的是因变量y与全体自变量之间的线性关系,它的符号不能由某一个自变量的回归系数的符号来确定,因而复相关系数都取正号。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心462022/11/16中国人民大学六西格玛质量管理研究中心47§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心472022/11/16中国人民大学六西格玛质量管理研究中心48§5.5中心化和标准化

在多元线性回归分析中,因为涉及到多个自变量,自变量的单位往往不同,给利用回归方程进行结构分析带来一定困难。再因为多元回归涉及的数据量很大,就可能由于舍入误差而使计算结果不理想。尽管计算机能使我们保留更多位的小数,但舍入误差肯定还会出现。因此,对原始数据进行一些处理,尽量避免大的误差是有实际意义的。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心482022/11/16中国人民大学六西格玛质量管理研究中心49§5.5中心化和标准化

一、中心化目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心492022/11/16中国人民大学六西格玛质量管理研究中心50§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心502022/11/16中国人民大学六西格玛质量管理研究中心51§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心512022/11/16中国人民大学六西格玛质量管理研究中心52§5.5中心化和标准化

二、标准化回归系数在上述中心化的基础上,可进一步给出变量的标准化和标准化回归系数。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心522022/11/16中国人民大学六西格玛质量管理研究中心53§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心532022/11/16中国人民大学六西格玛质量管理研究中心54§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心542022/11/16中国人民大学六西格玛质量管理研究中心55§5.5中心化和标准化

当自变量所使用的单位不同时,用普通最小二乘估计建立的回归方程,其回归系数不具有可比性，得不到合理的解释。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心552022/11/16中国人民大学六西格玛质量管理研究中心56§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心562022/11/16中国人民大学六西格玛质量管理研究中心57§5.5中心化和标准化

标准化回归系数是比较自变量对y影响程度相对重要性的一种较为理想的方法，有了标准化回归系数后,变量的相对重要性就容易进行比较了。但是,我们仍提醒人们对回归系数的解释须采取谨慎的态度,这是因为当自变量相关时会影响标准化回归系数的大小。参见参考文献［13］。几乎所有的统计软件在建立多元线性回归方程时都会自动给出标准化回归系数，通常他们称为贝它（Beta）值。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心572022/11/16中国人民大学六西格玛质量管理研究中心58§5.6相关阵与偏相关系数一、样本相关阵

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心582022/11/16中国人民大学六西格玛质量管理研究中心59§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心592022/11/16中国人民大学六西格玛质量管理研究中心60§5.6相关阵与偏相关系数用SPSS软件计算出的例5.1生产总值数据的增广样本相关阵为目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心602022/11/16中国人民大学六西格玛质量管理研究中心61§5.6相关阵与偏相关系数二、偏判定系数在多元线性回归分析中,当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心612022/11/16中国人民大学六西格玛质量管理研究中心62§5.6相关阵与偏相关系数在讲偏相关系数之前，首先引入偏判定系数。1．两个自变量的偏判定系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心622022/11/16中国人民大学六西格玛质量管理研究中心63§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心632022/11/16中国人民大学六西格玛质量管理研究中心64§5.6相关阵与偏相关系数2.一般情况其余情况依此类推。由习题知，偏判定系数与回归系数显著性检验的F值是等价的。

三、偏相关系数偏判定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。偏相关系数与回归系数显著性检验的t值是等价的。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心642022/11/16中国人民大学六西格玛质量管理研究中心65§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心652022/11/16中国人民大学六西格玛质量管理研究中心66§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心662022/11/16中国人民大学六西格玛质量管理研究中心67§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心672022/11/16中国人民大学六西格玛质量管理研究中心68§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心682022/11/16中国人民大学六西格玛质量管理研究中心69§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心692022/11/16中国人民大学六西格玛质量管理研究中心70§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心702022/11/16中国人民大学六西格玛质量管理研究中心71§5.7建模总结与评注

一、多元线性回归模型的建立过程本章结合两个经济问题实例介绍了多元线性回归模型的建立过程,在此,我们再结合一个实例,把多元线性回归模型的建立过程与应用做一个完整的介绍。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心712022/11/16中国人民大学六西格玛质量管理研究中心72§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心722022/11/16中国人民大学六西格玛质量管理研究中心73§5.7建模总结与评注

第一步，提出因变量与自变量，搜集数据，如例5.3所示。第二步,做相关分析，设定理论模型。用SPSS软件计算增广相关阵，自变量的偏相关阵，输出结果如下：

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心732022/11/16中国人民大学六西格玛质量管理研究中心74§5.7建模总结与评注

一般认为铁路客运量与民航客运量之间应呈负相关,铁路和民航共同拥有旅客,乘了火车就乘不了飞机。但就中国的实际情况分析,我国居民的收入还很低,一般人外出旅游、出差都乘火车。近年来乘飞机的人也逐渐增多,但我国民航客运量最大的一部分是来华旅游入境人数。国内尽管有些客人乘坐飞机,但对火车客运量不会有大的影响,一是铁路运力不足,十分紧张;二是近年来外出民工增多,而民工主要乘火车,所以不会因民航客运量增加而导致火车客运量下降。因此铁路客运量与民航客运量之间的关系不密切是正常的。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心742022/11/16中国人民大学六西格玛质量管理研究中心75§5.7建模总结与评注

第三步,用软件计算，输出计算结果。本例采用SPSS软件对原始数据作回归分析，输出结果如下：目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心752022/11/16中国人民大学六西格玛质量管理研究中心76§5.7建模总结与评注

第四步，回归诊断1.回归方程为目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心762022/11/16中国人民大学六西格玛质量管理研究中心77§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心772022/11/16中国人民大学六西格玛质量管理研究中心78§5.7建模总结与评注

第五步，回归应用

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心782022/11/16中国人民大学六西格玛质量管理研究中心79§5.7建模总结与评注

二、评注对于多元线性回归模型未知参数向量β的估计最主要的方法是普通最小二乘估计OLSE。在运用OLSE估计未知参数时应首先看具体问题的样本数据是否满足模型的基本假定,只有满足基本假定的模型才能应用OLSE。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心792022/11/16中国人民大学六西格玛质量管理研究中心80§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心802022/11/16中国人民大学六西格玛质量管理研究中心81§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心812022/11/16中国人民大学六西格玛质量管理研究中心82§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心822022/11/16中国人民大学六西格玛质量管理研究中心83§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心832022/11/16中国人民大学六西格玛质量管理研究中心84§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心842022/11/16中国人民大学六西格玛质量管理研究中心85§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心852022/11/16中国人民大学六西格玛质量管理研究中心86§5.7建模总结与评注

当一个回归方程通过了显著性检验之后,并不能说明这个回归方程中所有自变量都对因变量y有显著影响。因此还要对回归系数进行检验。当一个实际经济问题的回归模型通过了各种检验之后,模型的形式就随之确定下来,接着就可以运用回归方程去作经济预测和经济分析。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心862022/11/16中国人民大学六西格玛质量管理研究中心87§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心872022/11/16中国人民大学六西格玛质量管理研究中心88§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心882022/11/16中国人民大学六西格玛质量管理研究中心89§5.7建模总结与评注

回归自变量之间的相关性在经济问题研究中经常存在,只要涉及到多个自变量,就很难找出它们当中某些自变量是不相关的。要想找到对某一经济现象既有显著影响,自变量之间又完全不相关的一组自变量几乎是不可能的。问题是我们在建立经济问题的回归模型时,应尽可能地避免自变量的高度相关。自变量间的高度相关,称为复共线性,使得最小二乘法估计的参数稳健性很差。后边的章节中将专门研究这类问题。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心892022/11/16中国人民大学六西格玛质量管理研究中心90§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心90Theend!Thanks!2022/11/16中国人民大学六西格玛质量管理研究中心91Theend!2022/11/11中国人民大学六西格玛质量2022/11/16中国人民大学六西格玛质量管理研究中心92第5章多元线性回归

§5.1多元线性回归模型§5.2多元回归参数的估计§5.3参数估计量的性质§5.4回归方程的显著性检验§5.5中心化和标准化§5.6相关阵与偏相关系数§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心1第2022/11/16中国人民大学六西格玛质量管理研究中心93第5章多元线性回归目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心2第2022/11/16中国人民大学六西格玛质量管理研究中心94§5.1多元线性回归模型一、多元线性回归模型的一般形式

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心3§2022/11/16中国人民大学六西格玛质量管理研究中心95§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心4§2022/11/16中国人民大学六西格玛质量管理研究中心96§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心5§2022/11/16中国人民大学六西格玛质量管理研究中心97§5.1多元线性回归模型矩阵X是一n×(p+1)矩阵,称X为回归设计矩阵或资料矩阵。在实验设计中，X的元素是预先设定并可以控制的,人的主观因素可作用其中,因而称X为设计矩阵。二、多元线性回归模型的基本假定为了方便地进行模型的参数估计,对回归方程（5.4）式有如下一些基本假定。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心6§2022/11/16中国人民大学六西格玛质量管理研究中心98§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心7§2022/11/16中国人民大学六西格玛质量管理研究中心99§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心8§2022/11/16中国人民大学六西格玛质量管理研究中心100§5.1多元线性回归模型三、多元线性回归方程的解释

为了给多元线性回归方程及其回归系数一个解释,下面以p=2的一个微观经济问题为例给出回归方程的几何解释和回归系数的经济意义。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心9§2022/11/16中国人民大学六西格玛质量管理研究中心101§5.1多元线性回归模型目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心102022/11/16中国人民大学六西格玛质量管理研究中心102§5.1多元线性回归模型对于回归方程（5.13）式的图形,已不像一元线性回归时那样,是一条直线,而是一个回归平面。而对一般情况的回归方程（5.3）式，当p>2时，回归方程是一个超平面，无法用几何图形表示。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心112022/11/16中国人民大学六西格玛质量管理研究中心103§5.2多元回归参数的估计

一、回归参数的普通最小二乘估计目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心122022/11/16中国人民大学六西格玛质量管理研究中心104§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心132022/11/16中国人民大学六西格玛质量管理研究中心105§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心142022/11/16中国人民大学六西格玛质量管理研究中心106§5.2多元回归参数的估计

二、回归值与残差目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心152022/11/16中国人民大学六西格玛质量管理研究中心107§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心162022/11/16中国人民大学六西格玛质量管理研究中心108§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心172022/11/16中国人民大学六西格玛质量管理研究中心109§5.2多元回归参数的估计

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心182022/11/16中国人民大学六西格玛质量管理研究中心110§5.2多元回归参数的估计

这是一个重要的结论,我们在多元线性回归模型的基本假定中曾经用过它,这里就更可清楚这个假定的重要意义。结论说明,要想用OLSE估计多元线性回归模型的未知参数,样本容量必须不少于模型中参数的个数。在后边关于回归方程的假设检验中也少不了这一假设,否则检验无任何意义。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心192022/11/16中国人民大学六西格玛质量管理研究中心111§5.2多元回归参数的估计三、实例分析例5.1生产总值是衡量一个国家或地区经济发展状况的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等多方面的因素。本例研究财政支出对生产总值的影响。《中国统计年鉴》把财政支出划分为31个组成部分。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心202022/11/16中国人民大学六西格玛质量管理研究中心112§5.2多元回归参数的估计

采用2005年我国31个省、市、自治区的数据，以地区生产总值（万元）为因变量y，以如上13种支出为自变量做多元线性回归，数据见表5.1，其中自变量单位为万元人民币。用SPSS软件计算出回归系数表见表5.2：目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心212022/11/16中国人民大学六西格玛质量管理研究中心113§5.2多元回归参数的估计

这一回归方程并不理想,所选自变量数目过多，回归系数的显著性检验不能通过，自变量间存在共线性，回归系数的经济意义不好解释,这里只是作为多元线性回归参数估计的一例,后边我们将要进一步完善这一问题模型的建立。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心222022/11/16中国人民大学六西格玛质量管理研究中心114§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心232022/11/16中国人民大学六西格玛质量管理研究中心115§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心242022/11/16中国人民大学六西格玛质量管理研究中心116§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心252022/11/16中国人民大学六西格玛质量管理研究中心117§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心262022/11/16中国人民大学六西格玛质量管理研究中心118§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心272022/11/16中国人民大学六西格玛质量管理研究中心119§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心282022/11/16中国人民大学六西格玛质量管理研究中心120§5.3参数估计量的性质

性质4Gauss-Markov定理目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心292022/11/16中国人民大学六西格玛质量管理研究中心121§5.3参数估计量的性质

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心302022/11/16中国人民大学六西格玛质量管理研究中心122§5.4回归方程的显著性检验当求出线性回归方程后,还需对回归方程进行显著性检验。多元线性回归方程的显著性检验与一元线性回归方程的显著性检验既有相同之处，也有不同之处。下面介绍两种统计检验方法,一是回归方程显著性的F检验,另一个是回归系数显著性的t检验。同时介绍衡量回归拟合程度的拟合优度检验。一、F检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心312022/11/16中国人民大学六西格玛质量管理研究中心123§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心322022/11/16中国人民大学六西格玛质量管理研究中心124§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心332022/11/16中国人民大学六西格玛质量管理研究中心125§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心342022/11/16中国人民大学六西格玛质量管理研究中心126§5.4回归方程的显著性检验对例5.1题的数据,用SPSS软件计算出的方差分析表如下：

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心352022/11/16中国人民大学六西格玛质量管理研究中心127§5.4回归方程的显著性检验二、回归系数的显著性检验在多元线性回归中,回归方程显著并不意味着每个自变量对y的影响都显著,因此我们总想从回归方程中剔除那些次要的、可有可无的变量,重新建立更为简单的回归方程。所以就需要对每个自变量进行显著性检验。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心362022/11/16中国人民大学六西格玛质量管理研究中心128§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心372022/11/16中国人民大学六西格玛质量管理研究中心129§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心382022/11/16中国人民大学六西格玛质量管理研究中心130§5.4回归方程的显著性检验由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好，这个问题将在第七章逐步回归中做详细讨论。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心392022/11/16中国人民大学六西格玛质量管理研究中心131§5.4回归方程的显著性检验在此仅介绍一种简单的剔除多余变量的方法—后退法。当有多个自变量对因变量y无显著性影响时,由于自变量之间的交互作用,不能一次剔除掉所有不显著的变量。原则上每次只剔除一个变量,先剔除其中|t|值最小的（或P值最大的）一个变量,然后再对求得的新的回归方程进行检验,有不显著变量再剔除,直到保留的变量都对y有显著影响为止。也可根据对问题的定性分析选择t值较小的变量先剔除。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心402022/11/16中国人民大学六西格玛质量管理研究中心132§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心412022/11/16中国人民大学六西格玛质量管理研究中心133§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心422022/11/16中国人民大学六西格玛质量管理研究中心134§5.4回归方程的显著性检验在一元线性回归中，回归系数显著性的t检验与回归方程显著性的F检验是等价的，而在多元线性回归中，这两种检验不同。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心432022/11/16中国人民大学六西格玛质量管理研究中心135§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心442022/11/16中国人民大学六西格玛质量管理研究中心136§5.4回归方程的显著性检验三、拟合优度

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心452022/11/16中国人民大学六西格玛质量管理研究中心137§5.4回归方程的显著性检验在两个变量的简单相关系数中,相关系数有正负之分,而复相关系数表示的是因变量y与全体自变量之间的线性关系,它的符号不能由某一个自变量的回归系数的符号来确定,因而复相关系数都取正号。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心462022/11/16中国人民大学六西格玛质量管理研究中心138§5.4回归方程的显著性检验目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心472022/11/16中国人民大学六西格玛质量管理研究中心139§5.5中心化和标准化

在多元线性回归分析中,因为涉及到多个自变量,自变量的单位往往不同,给利用回归方程进行结构分析带来一定困难。再因为多元回归涉及的数据量很大,就可能由于舍入误差而使计算结果不理想。尽管计算机能使我们保留更多位的小数,但舍入误差肯定还会出现。因此,对原始数据进行一些处理,尽量避免大的误差是有实际意义的。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心482022/11/16中国人民大学六西格玛质量管理研究中心140§5.5中心化和标准化

一、中心化目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心492022/11/16中国人民大学六西格玛质量管理研究中心141§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心502022/11/16中国人民大学六西格玛质量管理研究中心142§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心512022/11/16中国人民大学六西格玛质量管理研究中心143§5.5中心化和标准化

二、标准化回归系数在上述中心化的基础上,可进一步给出变量的标准化和标准化回归系数。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心522022/11/16中国人民大学六西格玛质量管理研究中心144§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心532022/11/16中国人民大学六西格玛质量管理研究中心145§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心542022/11/16中国人民大学六西格玛质量管理研究中心146§5.5中心化和标准化

当自变量所使用的单位不同时,用普通最小二乘估计建立的回归方程,其回归系数不具有可比性，得不到合理的解释。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心552022/11/16中国人民大学六西格玛质量管理研究中心147§5.5中心化和标准化

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心562022/11/16中国人民大学六西格玛质量管理研究中心148§5.5中心化和标准化

标准化回归系数是比较自变量对y影响程度相对重要性的一种较为理想的方法，有了标准化回归系数后,变量的相对重要性就容易进行比较了。但是,我们仍提醒人们对回归系数的解释须采取谨慎的态度,这是因为当自变量相关时会影响标准化回归系数的大小。参见参考文献［13］。几乎所有的统计软件在建立多元线性回归方程时都会自动给出标准化回归系数，通常他们称为贝它（Beta）值。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心572022/11/16中国人民大学六西格玛质量管理研究中心149§5.6相关阵与偏相关系数一、样本相关阵

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心582022/11/16中国人民大学六西格玛质量管理研究中心150§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心592022/11/16中国人民大学六西格玛质量管理研究中心151§5.6相关阵与偏相关系数用SPSS软件计算出的例5.1生产总值数据的增广样本相关阵为目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心602022/11/16中国人民大学六西格玛质量管理研究中心152§5.6相关阵与偏相关系数二、偏判定系数在多元线性回归分析中,当其他变量被固定后,给定的任两个变量之间的相关系数,叫偏相关系数。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心612022/11/16中国人民大学六西格玛质量管理研究中心153§5.6相关阵与偏相关系数在讲偏相关系数之前，首先引入偏判定系数。1．两个自变量的偏判定系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心622022/11/16中国人民大学六西格玛质量管理研究中心154§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心632022/11/16中国人民大学六西格玛质量管理研究中心155§5.6相关阵与偏相关系数2.一般情况其余情况依此类推。由习题知，偏判定系数与回归系数显著性检验的F值是等价的。

三、偏相关系数偏判定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。偏相关系数与回归系数显著性检验的t值是等价的。

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心642022/11/16中国人民大学六西格玛质量管理研究中心156§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心652022/11/16中国人民大学六西格玛质量管理研究中心157§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心662022/11/16中国人民大学六西格玛质量管理研究中心158§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心672022/11/16中国人民大学六西格玛质量管理研究中心159§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心682022/11/16中国人民大学六西格玛质量管理研究中心160§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心692022/11/16中国人民大学六西格玛质量管理研究中心161§5.6相关阵与偏相关系数目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心702022/11/16中国人民大学六西格玛质量管理研究中心162§5.7建模总结与评注

一、多元线性回归模型的建立过程本章结合两个经济问题实例介绍了多元线性回归模型的建立过程,在此,我们再结合一个实例,把多元线性回归模型的建立过程与应用做一个完整的介绍。目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心712022/11/16中国人民大学六西格玛质量管理研究中心163§5.7建模总结与评注

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心722022/11/16中国人民大学六西格玛质量管理研究中心164§5.7建模总结与评注

第一步，提出因变量与自变量，搜集数据，如例5.3所示。第二步,做相关分析，设定理论模型。用SPSS软件计算增广相关阵，自变量的偏相关阵，输出结果如下：

目录上页下页返回结束2022/11/11中国人民大学六西格玛质量管理研究中心732022/11/16中国人民大学六西格玛质量管理研究中心165§5.7建模总结与评注

一般认为铁