3.4多元线性回归模型统计检验ppt课件

1、3.4 多元线性回归模型的统计检验多元线性回归模型的统计检验 一、拟合优度检验一、拟合优度检验 在多变量问题中，总变差也可以分解为回归平方和在多变量问题中，总变差也可以分解为回归平方和与残差平方和两部分，即与残差平方和两部分，即 TSS=ESS+RSS22)()(YeYYYiii2)(iieYYiiiieYYeYY)(2)(22iikikiiiiiiieYeXXXeYeYeYY)()(33221 其其中中： 当模型参数估计量曾经得到后，可以很方便地计算当模型参数估计量曾经得到后，可以很方便地计算R2。在运用过程中发现，假设在模型中添加一个解。在运用过程中发现，假设在模型中添加一个解释变量，模型

2、的解释功能加强了，回归平方和增大，释变量，模型的解释功能加强了，回归平方和增大，相应地，相应地， R2就增大了。就增大了。由正规方程由正规方程kjijiniiniexe,3,211, 00可得可得0)(iieYY因此因此222)()(iiieYYYY拟合优度定义为：拟合优度定义为：TSSRSSTSSESSR12设解释变量为设解释变量为X2 ，X3，, Xk时，残差平方和时，残差平方和为为kie )(2 假设观测值假设观测值Yi 不变，再添加一个解释变量不变，再添加一个解释变量Xk+1 ，相应的残差平方和为相应的残差平方和为12)(kie 由于在利用最小二乘法求参数估计值的过程中，由于在利用最小

3、二乘法求参数估计值的过程中，残差平方和残差平方和 和和 都分别到达极小值，都分别到达极小值，kie )(212)(kie而而 到达极小值，相当于最后引入的解释变量到达极小值，相当于最后引入的解释变量kie )(2Xk+1的系数的系数 等于零的条件下的极小值。等于零的条件下的极小值。1k 而而 是不要求是不要求 等于零这个条件就可以到达的等于零这个条件就可以到达的极小值，即无条件极小值。极小值，即无条件极小值。12)(kie1k 即即 是条件极小值。是条件极小值。kie )(2所以所以由于无条件极小值不大于条件极小值，即由于无条件极小值不大于条件极小值，即kikiee)()(212221kkRR

4、其中，其中， 是解释变量为是解释变量为X2 ，X3，, Xk时的拟合优时的拟合优度，度，2kR21kR而而 是添加了解释变量是添加了解释变量Xk+1以后的拟合优度以后的拟合优度 。 因此，随着解释变量数目的添加，残差平方和不断因此，随着解释变量数目的添加，残差平方和不断减小，拟合优度不断添加。减小，拟合优度不断添加。 错觉：要使模型拟合得好，必需添加解释变量。错觉：要使模型拟合得好，必需添加解释变量。 但是，在样本容量一定的情况下，添加解释变量必但是，在样本容量一定的情况下，添加解释变量必定使得自在度减少。定使得自在度减少。 检验拟合优度的统计量必需可以防止这种倾向。检验拟合优度的统计量必需可

5、以防止这种倾向。引入的解释变量数目越多，引入的解释变量数目越多，k越大。越大。由于由于ee减小不明显，那么减小不明显，那么 u2的无偏估计值的无偏估计值S 2将增将增大。大。 S 2增大无论对推测总体参数增大无论对推测总体参数B的置信区间，的置信区间，还是对预测区间的估计，都意味着预测准确度降低。还是对预测区间的估计，都意味着预测准确度降低。 因此，不重要的解释变量不应该引入。不应该根据拟因此，不重要的解释变量不应该引入。不应该根据拟合优度合优度R 2能否增大来决议能否引入某个解释变量。能否增大来决议能否引入某个解释变量。knSee2由由可知，可知，实践中运用的统计量是在对实践中运用的统计量是

6、在对R 2进展调整后的进展调整后的 。2R2R 称为修正的拟合优度，详细表达式为称为修正的拟合优度，详细表达式为 假设添加一个对被解释变量Y没有多大影响的解释变量时，RSS的减小没有(n-k)减小明显， 会减小。2RtrSSR12残差平方和残差平方和RSS的减小比的减小比(n-k)减小更显著，修正的拟合减小更显著，修正的拟合优度优度 就添加。就添加。2R(n-k):残差平方和的自在度，残差平方和的自在度，(n-1):总体平方和的自在度。总体平方和的自在度。当添加一个对被解释变量当添加一个对被解释变量Y 有较大影响的解释变量时，有较大影响的解释变量时，阐明不应该引入这个不重要的解释变量。阐明不应

7、该引入这个不重要的解释变量。1, nTSSSknRSSStr其其中中， 可见修正的拟合优度可见修正的拟合优度 比普通的拟合优度比普通的拟合优度 更更准确地反映了解释变量对被解释变量的影响程度。准确地反映了解释变量对被解释变量的影响程度。2R2R通常，修正的拟合优度通常，修正的拟合优度 比比 运用更广泛。运用更广泛。2R2RTSSRSSknnR112由于由于22RR 由于由于 n-1n-k0，1-R0，所以，所以即修正的拟合优度即修正的拟合优度 不大于普通的拟合优度不大于普通的拟合优度R 。2Rv修正的拟合优度修正的拟合优度 还有一个特点：它能够为负值。还有一个特点：它能够为负值。2R)1(11

8、2Rknn11knn222)1(1)1(11RRRknn从而从而)1(1122RknnR211Rknnknk。时时，所所以以当当01122RnkR在这种情况下，运用修正的拟合优度在这种情况下，运用修正的拟合优度 将失去意义。将失去意义。2R因此，因此， 只适用于变量只适用于变量 Y 与变量与变量 X2 ，X3，, Xk 的的整体相关程度比较高的情况。整体相关程度比较高的情况。2R2RkO1二、方程的显著性检验二、方程的显著性检验(F检验检验) 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上能否显著成立作出推断。 从上面的拟合优度检验中可以看出，拟合优度高，那么解释变量

9、对被解释变量的解释程度就高，可以推断模型总体线性关系成立；反之，就不成立。 但这只是一个模糊的推测，不能给出一个在统计上严厉的结论。这就要求进展方程的显著性检验。 方程的显著性检验所运用的方法是数理统计学中的假设检验。 根本义务：根据样本所提供的信息，对未知总体分根本义务：根据样本所提供的信息，对未知总体分布的某些方面的假设作出合理的判别。布的某些方面的假设作出合理的判别。 根本思想：反证法。根本思想：反证法。 根据：小概率事件原理。即根据：小概率事件原理。即“小概率事件在一次实小概率事件在一次实验中几乎是不能够发生的。验中几乎是不能够发生的。 假设在假设假设在假设H0正确的前提下，导致了不合

10、理正确的前提下，导致了不合理的结果的结果(即小概率事件发生即小概率事件发生)，那么阐明，那么阐明“假设假设H0正正确是错误的，因此要回绝原假设确是错误的，因此要回绝原假设H0 ，而接受备，而接受备择假设。择假设。 反之，假设小概率事件没有发生，那么应该反之，假设小概率事件没有发生，那么应该接受原假设。接受原假设。假设检验假设检验2. 参数估计式的分布特性参数估计式的分布特性B 根据中心极限定理，无论误差项U服从什么分布,只需样本容量n足够大，就可以近似按U服从正态分布的情况，对 进展显著性检验，以及对总体参数B的置信区间进展推断。 同时，很多经济资料的样本容量不是非常大，很同时，很多经济资料的

11、样本容量不是非常大，很难对样本本身能否严厉服从正态分布作出准确判别，难对样本本身能否严厉服从正态分布作出准确判别，甚至根本无法判别样本服从什么分布。甚至根本无法判别样本服从什么分布。 有了中心极限定理，就可以逃避检验U的分布方式的困难，按照Y和U服从正态分布讨论检验和预测问题。 在实践经济活动中，各种经济变量之间有千丝万在实践经济活动中，各种经济变量之间有千丝万缕的联络，样本资料很难满足正态分布的要求。缕的联络，样本资料很难满足正态分布的要求。 只需样本容量比较大，所得结果的近似程度就比较高。因此对正态分布的讨论具有普通性。UX)XX(BBUB 1的的线线性性组组合合：是是由由假定误差项假定误

12、差项U服从多元正态分布，即服从多元正态分布，即UN(0, u2I)可以知道，参数估计可以知道，参数估计 中的任何一个元素中的任何一个元素 等于矩阵等于矩阵Bj B中对应元素中对应元素j加上加上ui(i=1,2, ，n)的线性组合。的线性组合。 假定假定U服从多元正态分布，那么服从多元正态分布，那么 也服从多元正也服从多元正态分布，态分布，BB )XX(,B(12uN knSu ee22无偏估计无偏估计无法得到，只能用它的无法得到，只能用它的由于由于 B近似替代近似替代u2。利用。利用 的方差估计式，就可以对参数的方差估计式，就可以对参数估计估计 进展显著性检验。进展显著性检验。B3. 方程显著

13、性的方程显著性的F检验检验 检验模型中被解释变量与解释变量之间的线性关系在总体上能否显著成立，即是检验方程niuXXXYikikiii, 2 , 1,33221 中参数能否显著不为中参数能否显著不为0。按照假设检验的原理与程序，。按照假设检验的原理与程序，提出原假设为提出原假设为0, 0, 0:H320k即模型线性关系不成立。即模型线性关系不成立。 在多元线性回归分析中，方程的显著性检验需求构造F统计量。 不加证明，给出如下结论：的的分分布布互互相相独独立立。与与分分布布；服服从从Bee)2(ee)1(22 u2eeu )(2kn 根据数理统计学的定义，假设构造一个统计量根据数理统计学的定义，

14、假设构造一个统计量2)(YYESSi) 1(2k )(2kn 2)(iiYYRSS)/()1/(knRSSkESSF那么该统计量服从自在度为那么该统计量服从自在度为(k-1, n-k)的的F分布。分布。), 1(knkF 根据变量的样本观测值和估计值，计算F统计量的数值；给定一个显著性程度，那么 1), 1(knkFFP), 1(knkFF 为原假设为原假设H0下的一个小概率事件。下的一个小概率事件。 此时，在1 程度下回绝原假设H0 ，即模型的线性关系显著成立，模型经过方程显著性检验。 在实践运用中，显著性程度的给定对检验结果有一定影响，在一个程度下是显著成立的，在另一个程度下能够不成立。这

15、正是统计学意义上的结论的严厉性与科学性所在。于是于是 拟合优度检验与方程显著性检验是从不同原理出发的拟合优度检验与方程显著性检验是从不同原理出发的两类检验。两类检验。区别：前者是从曾经得到估计的模型出发，检验它对区别：前者是从曾经得到估计的模型出发，检验它对样本观测值的拟合程度；后者是从样本观测值出发，样本观测值的拟合程度；后者是从样本观测值出发，检验模型总体线性关系的显著性。检验模型总体线性关系的显著性。联络：模型对样本观测值的拟合程度高，模型总体线联络：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强。性关系的显著性就强。两个统计量存在以下关系：两个统计量存在以下关系：4. 关于

16、拟合优度检验与方程显著性检验的讨论关于拟合优度检验与方程显著性检验的讨论FkknnR)1(112三、变量显著性检验三、变量显著性检验t 检验检验 假设某个变量对被解释变量的影响并不显著，应假设某个变量对被解释变量的影响并不显著，应该将它剔除，以建立更为简单的模型。这就是变量显该将它剔除，以建立更为简单的模型。这就是变量显著性检验的义务。著性检验的义务。 1. t 统计量统计量12)XX()Bcov(u 对于多元线性回归模型，方程的总体线性关系是显著的，并不能阐明每个解释变量对被解释变量的影响都是显著的，必需对每个解释变量进展显著性检验，以决议能否作为解释变量被保管在模型中。元元素素，主主对对角角线线上上的的第第）表表示示（以以jcjj1XX j ),(2jjujcN 2eeu )(2kn 又又根据数理统计学中的定义，构造统计量根据数理统计学中的定义，构造统计量knctjjjjee )(knt那么该统计量服从自在度为那么该统计量服从自在度为(n-k)的的t 分布，即为用于分布，即为用于变量显著性检验的变量显著性检验的t 统计量。统计量。的的分分布布为为于于是是参参数数j 2. t 检验检验 1)(2knttP给定显著性程度给定显著性程度，那，那么么于是于是)(2kntt 为原假设为原假设H0下