第九章回归分析.

1、第第9章章回归分析回归分析（Regression）9.1.1 回归分析的基本思想回归分析的基本思想回归分析是研究两个或多个变量之间因果关系的统计分回归分析是研究两个或多个变量之间因果关系的统计分析方法。析方法。回归分析的基本思想：在相关分析的基础上，对具有相回归分析的基本思想：在相关分析的基础上，对具有相关关系的两个或多个变量之间数量变化的一般关系进行关关系的两个或多个变量之间数量变化的一般关系进行测定，确立一个适当的数学模型，以便从一个已知变量测定，确立一个适当的数学模型，以便从一个已知变量来预测或推断另一个未知变量。来预测或推断另一个未知变量。9.1.2 回归分析与相关分析的区别回归分析与

2、相关分析的区别1.1.相关分析研究的变量之间是对等关系，不区分自变量和相关分析研究的变量之间是对等关系，不区分自变量和因变量；而回归分析的变量有被解释变量（因变量、内因变量；而回归分析的变量有被解释变量（因变量、内生变量）和解释变量（自变量、外生变量）之分。生变量）和解释变量（自变量、外生变量）之分。2.2.相关分析研究的变量都是随机变量，而回归分析中被解相关分析研究的变量都是随机变量，而回归分析中被解释变量是随机变量，解释变量是一个非随机的确定变量。释变量是随机变量，解释变量是一个非随机的确定变量。3.3.相关分析主要是为刻画两类变量间线性相关的密切程度，相关分析主要是为刻画两类变量间线性相

3、关的密切程度，不能指出变量间相互关系的具体形式；而回归分析可以不能指出变量间相互关系的具体形式；而回归分析可以通过一个数学模型来确定变量之间相关的具体形式，揭通过一个数学模型来确定变量之间相关的具体形式，揭示自变量对因变量的影响大小，还可以由回归方程进行示自变量对因变量的影响大小，还可以由回归方程进行预测和控制。预测和控制。9.1.3建立实际问题建立实际问题 回归模型的过程回归模型的过程 根据研究目的，设置指标变量根据研究目的，设置指标变量 收集、整理统计数据收集、整理统计数据 确定确定理论回归模型的数学形式理论回归模型的数学形式 模型参数的估计模型参数的估计 模型的检验与模型的检验与修改修改

4、 回归回归模型的运用模型的运用9.2.1 线性回归模型线性回归模型l 线性回归是最简单和最基础的回归方法，其数学线性回归是最简单和最基础的回归方法，其数学模型的一般形式为：模型的一般形式为：l 使用最小二乘法对回归系数进行估计，得样本回使用最小二乘法对回归系数进行估计，得样本回归函数：归函数：iikkiiixxxy22110iikkiiiexxxy22110l 古典线性回归模型的基本假定：古典线性回归模型的基本假定：（2）不同的随机扰动项之间不存在序列相关，即）不同的随机扰动项之间不存在序列相关，即（3）随机扰动项相互独立（不相关）。）随机扰动项相互独立（不相关）。（4）k 个解释变量不存在共

5、线性。个解释变量不存在共线性。0),(Covts)(ts kxxx，21（1）解释变量）解释变量 是确定性变量，且样本容量是确定性变量，且样本容量大于解释变量的个数大于解释变量的个数 ，即，即nk 。9.2.2 线性回归模型的评价和检验回归模型的检验包括一级检验（统计学检验统计学检验）和二级检验（经济计量学检验经济计量学检验）。u统计学检验：统计学检验：是利用统计学的抽样理论来检验回归方程的可靠性，分为拟合优度检验拟合优度检验和显著性检验显著性检验。u经济经济计量学检验：计量学检验：是对线性回归模型的假定条件能否得到满足进行检验，具体包括序列相关检验序列相关检验、异方差异方差检验检验等。1拟合

6、优度检验拟合优度检验拟合优度检验拟合优度检验是检验回归方程对样本观测值的拟合程度。是检验回归方程对样本观测值的拟合程度。所谓拟合优度，是指样本观测值聚集在样本回归线周围所谓拟合优度，是指样本观测值聚集在样本回归线周围的紧密程度，反映了回归方程对被解释变量的解释程度。的紧密程度，反映了回归方程对被解释变量的解释程度。判断回归模型拟合优度的常用指标是判断回归模型拟合优度的常用指标是可决系数可决系数 (R2)，它它建立在对被解释变量总离差平方和进行分解的基础之上。建立在对被解释变量总离差平方和进行分解的基础之上。可以证明，被解释变量总离差平方和可进行如下分解：可以证明，被解释变量总离差平方和可进行如

7、下分解：SST=SSR+SSEniiyySST12)(niiyySSR12)(niiiyySSE12)(SSTSSESSTSSRR12) 1/() 1/(12nSSTknSSER其中：其中：可决系数：可决系数：调整后的可决系数：调整后的可决系数：包括两个方面的内容：即包括两个方面的内容：即回归回归方程整体显著性检验（方程整体显著性检验（F检验检验）和和回归系数的显著性检验回归系数的显著性检验。2回归方程整体显著性检验（回归方程整体显著性检验（F检验）检验）回归方程整体显著性检验用于检验被解释变量与所有解回归方程整体显著性检验用于检验被解释变量与所有解释变量之间的线性关系是否显著。释变量之间的线

8、性关系是否显著。由于由于SST=SSR+SSE，故回归模型总体函数的线性关系，故回归模型总体函数的线性关系是否显著，其实质就是判断是否显著，其实质就是判断回归平方和（回归平方和（SSR）与与残差残差平方和（平方和（SSE）之比值的大小问题。我们可以通过方差之比值的大小问题。我们可以通过方差分析的思想，构造分析的思想，构造 F 统计量来进行检验。统计量来进行检验。3回归系数显著性检验回归系数显著性检验多元线性回归中，回归方程整体显著并不意味着每一个多元线性回归中，回归方程整体显著并不意味着每一个解释变量对被解释变量的影响都是显著的，因此应该从解释变量对被解释变量的影响都是显著的，因此应该从回归方

9、程中剔除那些次要的、可有可无的变量，重新建回归方程中剔除那些次要的、可有可无的变量，重新建立更为简单的回归方程，所以有必要对每个回归系数的立更为简单的回归方程，所以有必要对每个回归系数的显著性进行检验。显著性进行检验。回归系数的显著性检验通过构造回归系数的显著性检验通过构造 t 统计量来进行。统计量来进行。4残差正态性检验残差正态性检验残差残差 e 是随机扰动项是随机扰动项 的体现。对残差进行分析的目的的体现。对残差进行分析的目的是检验随机扰动项是否服从经典假设。其内容包括是检验随机扰动项是否服从经典假设。其内容包括残差残差正态性检验、异方差检验、序列相关检验正态性检验、异方差检验、序列相关检

10、验等。等。残差的正态性检验可以利用前面介绍的残差的正态性检验可以利用前面介绍的Q-Q图图法法和和K-S检验检验法法来完成。来完成。5异方差检验异方差检验 当随机扰动项的方差随观测值的不同而有所差异，我们就说当随机扰动项的方差随观测值的不同而有所差异，我们就说产生了异方差性。产生了异方差性。 异方差问题主要出现在横截面数据。异方差会导致最小二乘异方差问题主要出现在横截面数据。异方差会导致最小二乘法失去最佳性（最小方差性），也会使得法失去最佳性（最小方差性），也会使得 t 检验、检验、F 检验及检验及置信区间等不可靠。在有异方差时仍直接使用普通最小二乘置信区间等不可靠。在有异方差时仍直接使用普通最

11、小二乘回归分析法，很可能得出错误结论。回归分析法，很可能得出错误结论。 异方差的诊断常使用残差图分析法、等级相关系数法、格莱异方差的诊断常使用残差图分析法、等级相关系数法、格莱斯尔（斯尔（Glejser）法等。而消除异方差的方法通常有）法等。而消除异方差的方法通常有加权最小加权最小二乘法（二乘法（WLS）、Box-Cox变换法、方差稳定性变化法等。变换法、方差稳定性变化法等。6序列相关（自相关）检验序列相关（自相关）检验当随机扰动项存在序列相关（当随机扰动项存在序列相关（变量前后期数值之间相关变量前后期数值之间相关）时，可能导致最小二乘估计方差增大，回归系数时，可能导致最小二乘估计方差增大，回

12、归系数 t 检验检验失效等问题。失效等问题。SPSS给出给出专专门用于检验序列相关的门用于检验序列相关的Durbin-Watson检验统计量。检验统计量。niiniiieeeDW22221)(0 DW dL：随机扰动项存在一阶正序列相关；：随机扰动项存在一阶正序列相关；4-dL DW 4：随机扰动项存在一阶负序列相关；：随机扰动项存在一阶负序列相关；dU DW 4-dU：随机扰动项不存在序列相关；：随机扰动项不存在序列相关；dL DW dU 或或 4-dU DW 4-dL：不能确定是否：不能确定是否存在序列相关。存在序列相关。7多重共线性检验多重共线性检验多重共线性是指各个解释变量之间存在线性相关关系。多重共线性是指各个解释变量之间存在线性相关关系。多重共线性常常会导致回归系数方差增大，从而使得多重共线性常常会导致回归系数方差增大，从而使得 t 检验难以通过。多重共线性还会使参数的普通最小平方检验难以通过。多重共线性还会使参数的普通最小平方法估计及其方差对样本十分敏感，因而不可靠。法估计及其方差对样本十分敏感，因而不可靠。SPSS提供了几种检验多重共线性的方