计量经济学课件：第3章 多元线性回归模型2

1、机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1 1页页 上一章讨论的一元线性回归模型主要讨论一个被解释变量和一上一章讨论的一元线性回归模型主要讨论一个被解释变量和一个解释变量之间的线性关系，但是，由于实际经济问题的复杂性，个解释变量之间的线性关系，但是，由于实际经济问题的复杂性，一个经济变量可能会同多个变量相联系。一个经济变量可能会同多个变量相联系。 例如，消费者对某种商品的需求量不仅受该种商品价格的影例如，消费者对某种商品的需求量不仅受该种商品价格的影响，而且还可能受消费者的收入水平、

2、其他代用商品的价格等因响，而且还可能受消费者的收入水平、其他代用商品的价格等因素的影响；素的影响； 又如，影响一个国家货币需求量的不仅有经济总量又如，影响一个国家货币需求量的不仅有经济总量GDP，而，而且还有利率、物价水平、外汇储备等多种因素。且还有利率、物价水平、外汇储备等多种因素。 因此，本章将把上一章讨论的结论推广到包含多个解释变量因此，本章将把上一章讨论的结论推广到包含多个解释变量的多元线性回归模型。的多元线性回归模型。第三章第三章 多元线性回归模型多元线性回归模型 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财

3、经大学统计学院计量经济教研室第第2 2页页第一节第一节 多元线性回归模型及其参数估计多元线性回归模型及其参数估计第四节第四节 多元线性回归模型评价多元线性回归模型评价*第二节第二节 OLSE的统计性质及其假定的统计性质及其假定第五节第五节 模型应用：预测与分析模型应用：预测与分析本章内容有：本章内容有：第三节第三节 多元回归模型参数的统计推断多元回归模型参数的统计推断机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3 3页页5、能够借助回归模型对现象进行预测和分析。、能够借助回归模型对现象进

4、行预测和分析。学习本章后学习本章后, 您应该做到：您应该做到：1、了解多元线性总体回归模型的一般形式，熟练掌握多、了解多元线性总体回归模型的一般形式，熟练掌握多元线性回归模型的元线性回归模型的OLS估计；估计；2、理解多元线性回归模型、理解多元线性回归模型OLSE的统计性质及其假定；的统计性质及其假定；3、掌握多元线性回归模型参数的区间估计与假设检验；、掌握多元线性回归模型参数的区间估计与假设检验；4、了解多元线性回归模型的评价标准；、了解多元线性回归模型的评价标准；重点与难点：重点与难点： 掌握多元线性总体回归模型的矩阵形式；理解多元线性掌握多元线性总体回归模型的矩阵形式；理解多元线性回归模

5、与一元线性回归模型经典假定的异同；掌握多元线回归模与一元线性回归模型经典假定的异同；掌握多元线性回归模型参数的区间估计与假设检验。性回归模型参数的区间估计与假设检验。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4 4页页第一节第一节 多元线性回归模型及其参数估计多元线性回归模型及其参数估计一、多元线性回归模型的一般形式一、多元线性回归模型的一般形式 如果被解释变量如果被解释变量y与与k个解释变量个解释变量 之间有之间有线性相关关系，那么它们之间的多元线性总体回归模型可以线性相关关系，那么

6、它们之间的多元线性总体回归模型可以表示为表示为kxxx,2101 122kkyxxxu(3.1) 由于多个解释变量会同时对被解释变量由于多个解释变量会同时对被解释变量y的变动发挥作用，的变动发挥作用，因此，如果要考察其中某个解释变量对因此，如果要考察其中某个解释变量对y的影响，就必须使其的影响，就必须使其它解释变量保持不变。在多元线性回归模型（它解释变量保持不变。在多元线性回归模型（3.1）中，）中， 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第5 5页页 回归系数回归系数 表示：表示：

7、 在其它解释变量不变的条件下，第在其它解释变量不变的条件下，第j个解释变量的单位变动个解释变量的单位变动对被解释变量平均值的影响，故多元线性回归模型的回归系数对被解释变量平均值的影响，故多元线性回归模型的回归系数又被称为偏回归系数。又被称为偏回归系数。u是随机误差项。是随机误差项。(0,1,2, )jjk 如果我们将如果我们将n组实际观测数据组实际观测数据 代入（代入（3.1）式中）式中,可得到下列形式可得到下列形式12(,)(1,2,)iiikiy xxxin01 122iiikkiiyxxxu1,2,in(3.2)101 1122111201 122222201 122kkkknnnkkn

8、nyxxxuyxxxuyxxxu即即机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第6 6页页写成矩阵形式为写成矩阵形式为12nyyy112111222212111kknnknxxxxxxxxx01k12nuuuY = X+ u即即（3.3）其中其中12nyyYy112111222212111kknnknxxxxxxXxxx01k12nuuuuu一般称一般称Y，X为因变量和自变量观测矩阵；为因变量和自变量观测矩阵； 为系数向量为系数向量, 为随机误差向量。为随机误差向量。机动 目录 上页 下

9、页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第7 7页页(3.5)ikikiiiexxxy22110(3.5)式称为样本回归模型，它由两部分组成：式称为样本回归模型，它由两部分组成：kikiixxx22110称为称为系统分量系统分量，是可以被是可以被自变量解自变量解释的部分释的部分； ei是不能被自变量解释的部分称为是不能被自变量解释的部分称为残差残差(residuals)，可看成是随机项，可看成是随机项ui的代表值的代表值。 利用样本点对样本回归方程（利用样本点对样本回归方程（3.5）系统分量部分的）系统分

10、量部分的系数进行估计，便可得到样本回归函数（系数进行估计，便可得到样本回归函数（SRF）或样本）或样本12(,.,; )iikixxxy 在总体线性回归函数中，各个回归系数是未知的，在总体线性回归函数中，各个回归系数是未知的，只能利用样本观测值对其进行估计。对于任意抽取的只能利用样本观测值对其进行估计。对于任意抽取的观测（样本）点观测（样本）点 有：有： 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第8 8页页其中，其中， iy是是y的系统分量，即由的系统分量，即由12,.,iikixxx

11、决定的理论值决定的理论值12(|,.,)iiikiE yxxx是对是对y的条件均值的条件均值的估计，的估计，012,k 012,k 分别是回归系数分别是回归系数的样本估计量。的样本估计量。对于给定的样本，样本回归方程的矩阵形式为对于给定的样本，样本回归方程的矩阵形式为XY （3.7）其中其中 12nyyyY =112111222212111kknnknxxxxxxXxxx01k01 122iiikkiyxxx（3.6）回归方程：回归方程：机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第9 9

12、页页二、回归模型参数的二、回归模型参数的OLS估计估计 多元线性回归方程的未知参数的估计与一元线性回归方程的多元线性回归方程的未知参数的估计与一元线性回归方程的参数估计原理一样，仍然可以采用普通最小平方法（参数估计原理一样，仍然可以采用普通最小平方法（OLS）进）进行参数估计，估计准则是令残差平方和行参数估计，估计准则是令残差平方和Q达到最小。其中达到最小。其中2211()nniiiiiQeyy201 1221()niiikkiiyxxx根据微分极值原理知，根据微分极值原理知， 012,k 应满足下列方程组应满足下列方程组 0112201122101122012()02()02()0iiikk

13、iiiikkiiiiikkik ikQQQyxxxyxxxxyxxxx 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1010页页整理后得到正规方程组：整理后得到正规方程组：011222101112121201122iiikkiiiiiiikikikiikiikiikikkiynxxxx yxxx xx xx yxx xx xx（3.8）解方程组（解方程组（3.8），得到回归系数），得到回归系数 012,k的最小的最小012,.k 二乘估计量（二乘估计量（OLSE）为了叙述简单，可以用矩阵

14、运算推导参数的最小二乘估计量。为了叙述简单，可以用矩阵运算推导参数的最小二乘估计量。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1111页页正规方程组正规方程组(3.8)(3.8)的的矩阵形式矩阵形式1112112111nkkknxxxxxx12nyyy01k=11111121122121111111knkkkknnknxxxxxxxxxxxx即即:X YX X由于由于Rank(X)=k+1,故有故有 ： X X 可逆可逆1()X XX Y于是于是机动 目录 上页 下页 返回 结束 20

15、212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1212页页上述问题也可以用以下矩阵方法来推导：上述问题也可以用以下矩阵方法来推导：() ()MinQYXYXYYX YYXX X 因为因为 都是标量，所以二者相等，故：都是标量，所以二者相等，故：,X Y Y X022XXYXQTT化简得：化简得： X YX X1()X XX Y（3.10） 2MinQY YX YX X（3.9）由于由于Rank(X)=k+1,故故 满秩，故有满秩，故有 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统

16、计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1313页页 例例31在研究某行业员工的教育回报问题时，经在研究某行业员工的教育回报问题时，经分析确定了以下变量：工资水平（分析确定了以下变量：工资水平（y，万元，万元/年）、受教年）、受教育年限（育年限（x1，年）、在劳动力市场上的工作经历（，年）、在劳动力市场上的工作经历（x2，年）及任现职年限（年）及任现职年限（x3，年）。现随机抽取了该行业，年）。现随机抽取了该行业24位员工，观察数据如表位员工，观察数据如表3-1所示。试建立员工工资水所示。试建立员工工资水平关于受教育年限、工作经历和任现职年限的多元回平关于受教育年限、工作经历

17、和任现职年限的多元回归方程。归方程。表表3-1 某行业员工工资水平及影响因素样本数据某行业员工工资水平及影响因素样本数据机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1414页页序号序号yx1x2x3序号序号yx1x2x313.101520138.771615023.2416222145.501618333.0015201522.216311546.001236281617.332014055.301672177.501610068.7520981810.63171610711.25221

18、57193.601613085.001653204.501612693.601664216.8816114101848162913116.252082236.332099128.131730246.0015378机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1515页页将上述资料代入将上述资料代入OLS正规方程：正规方程：0112233011223310112233201122333()0()0()0()0iiiiiiiiiiiiiiiiiiiyxxxyxxxxy

19、xxxxyxxxx012315.5081.1790.1870.117 得到得到机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1616页页所以样本回归方程为：所以样本回归方程为：12315.508 1.1790.1870.117yxxx 该例也可以利用式（该例也可以利用式（3.10）计算，结果完全一样，）计算，结果完全一样，请同学们自己验证。请同学们自己验证。 由于多元回归的计算量一般都很大，实际计算可利由于多元回归的计算量一般都很大，实际计算可利用用EViews软件进行。方法是建立数据文件

20、后，在主菜软件进行。方法是建立数据文件后，在主菜单选单选Quick Estimate Equations，进入输入估计方程对话，进入输入估计方程对话框框, 输入待估计方程，选择估计方法输入待估计方程，选择估计方法LS（最小二乘法（最小二乘法），或在直接命令窗口键入），或在直接命令窗口键入“ls y c x1 x2 x3”，点击，点击OK进行估计。本例的进行估计。本例的EViews输出结果如下：输出结果如下：机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1717页页Dependent Var

21、iable: YVariableCoefficientStd. Errort-StatisticProb. C-15.508066.637424-2.3364570.0300X11.1793880.3641483.2387580.0041X20.1873640.1168241.6038180.1244X30.1167560.1603820.7279850.4751R-squared0.462817 Mean dependent var7.896667Adjusted R-squared0.382239 S.D. dependent var4.984674S.E. of regression3.

22、917842 Akaike info criterion5.719971Sum squared resid306.9898 Schwarz criterion5.916313Log likelihood-64.63965 Hannan-Quinn criter.5.772061F-statistic5.743747 Durbin-Watson stat1.445114Prob(F-statistic)0.005291表表3-2 EViews输出结果输出结果机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经

23、济教研室第第1818页页样本原始数据的标准化处理公式为样本原始数据的标准化处理公式为：三、标准化回归系数三、标准化回归系数 在多元线性回归中，如果自变量的在多元线性回归中，如果自变量的量纲量纲不同，不同不同，不同回归系数的大小比较没有意义。为了比较不同自变量对回归系数的大小比较没有意义。为了比较不同自变量对因变量的影响强弱，就需要对样本原始数据进行标准化因变量的影响强弱，就需要对样本原始数据进行标准化处理，然后用最小二乘法去估计未知参数，这样得到的处理，然后用最小二乘法去估计未知参数，这样得到的回归系数叫做回归系数叫做标准化回归系数标准化回归系数（Standardized Coefficien

24、ts )或者或者 系数（系数（Beta Coefficients）。）。 2() /jjijjijjixjijxxxxxSxxn1,2, ,1,2,injk机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第1919页页2() /iiiyiyyyyySyyn1,2,in 、 分别为分别为 的样本标准差。的样本标准差。 jxSyS,jxy对标准化的样本数据对标准化的样本数据 12(,;)1,2,iikiixxxyik用最小二乘法可以得到下列经验回归方程：用最小二乘法可以得到下列经验回归方程：112

25、2iiikkiyxxx12, ,kx xxy12,kxxx*y12,k 其中，其中， 为因变量为因变量 对自变量对自变量 的回归系数，即为因变量的回归系数，即为因变量 对自变量对自变量 的标的标准化回归系数。准化回归系数。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2020页页可以证明，标准化回归系数与普通最小二乘回归系数之间的可以证明，标准化回归系数与普通最小二乘回归系数之间的关系为：关系为：22()()jxjijjjjyiSxxSyy普通最小二乘回归系数普通最小二乘回归系数 表示在其

26、他变量不变表示在其他变量不变的情况下，自变量的情况下，自变量 每变化一个绝对单位引起每变化一个绝对单位引起的因变量的平均变化量；的因变量的平均变化量；), 2 , 1( ,kjj), 2 , 1( ,kjxj标准化回归系数标准化回归系数 表示在其他变量不变的情况表示在其他变量不变的情况下，自变量下，自变量 每变化每变化1%1%（相对于其标准差）（相对于其标准差）引起的因变量的平均变化的百分数（相对于其标准差）。引起的因变量的平均变化的百分数（相对于其标准差）。), 2 , 1( ,kjj), 2 , 1( ,kjxj(1,2, )jjk(1,2, )jjk(1, )jxjk 尽管标准化回归系数

27、尽管标准化回归系数消除了量纲的影响，较之消除了量纲的影响，较之在比较自变量在比较自变量普通最小二乘回归系数普通最小二乘回归系数机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2121页页对因变量对因变量y的影响大小时更具可比性；但与原模型的回归的影响大小时更具可比性；但与原模型的回归系数相比，其经济含义已经改变，在使用过程中，需要系数相比，其经济含义已经改变，在使用过程中，需要特别注意。特别注意。 四、多元线性回归的拟合优度四、多元线性回归的拟合优度R2 与一元回归一样，多元回归总离差平方和

28、与一元回归一样，多元回归总离差平方和 ，可，可以分解为可解释（回归）平方和以分解为可解释（回归）平方和 与残差平方和与残差平方和 。即。即TSSESSRSSTSSESSRSS（3.11）具体计算公式为：具体计算公式为：2222()iiTSSyyynyYYny机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2222页页22011222()iiiiiikkiiESSyyyx yx yx yny ny X Y2201122()iiiiiiiikkiiRSSyyyyx yx yx y YY - X

29、Y 与一元回归类似，我们把回归解释平方和与一元回归类似，我们把回归解释平方和 在总离差平在总离差平方和方和 中所占的比重定义为多重（复）样本决定系数，中所占的比重定义为多重（复）样本决定系数，或多重（复）可决系数），记为或多重（复）可决系数），记为 ：TSS2RESS21ESSRSSRTSSTSS （3.12）机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2323页页很显然，很显然， 越大说明回归方程与样本值拟合得越好，越大说明回归方程与样本值拟合得越好，2201;RR反之越差。反之越差。

30、 例例3.2 以例以例3.1资料为例，计算样本决定系数。资料为例，计算样本决定系数。222()264.49080.4628571.4805()iiyyESSRTSSyy 在在EViews中，中， 用用R-squared表示（见表表示（见表3.2）。）。2R 在实际的经济分析中，往往希望所建立模型的拟合优度在实际的经济分析中，往往希望所建立模型的拟合优度越高越好。越高越好。但是，由但是，由ESS与与RSS的计算公式可知，在回归模的计算公式可知，在回归模型中多增加一个自变量，型中多增加一个自变量，ESS一般会变大，一般会变大，RSS一般会变小一般会变小，导致，导致R2通常会增加，使得通常会增加，使

31、得R2不适宜作为判断一个解释变不适宜作为判断一个解释变量是否引入模型的工具。量是否引入模型的工具。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2424页页 拟合优度无法反映模型中每个解释变量对被解拟合优度无法反映模型中每个解释变量对被解释变量的影响。在回归分析中，不仅要模型的拟合释变量的影响。在回归分析中，不仅要模型的拟合程度高，而且还要得到总体回归系数的可靠估计量。程度高，而且还要得到总体回归系数的可靠估计量。因此，在选择模型时，不能单纯地凭样本决定系数因此，在选择模型时，不能单纯地凭

32、样本决定系数高低断定模型的优劣，有时为了通盘考虑模型回归高低断定模型的优劣，有时为了通盘考虑模型回归系数的显著性及其经济意义，可以适当降低对拟合系数的显著性及其经济意义，可以适当降低对拟合优度指标的要求。优度指标的要求。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2525页页第二节第二节 OLSE的统计性质及其假定的统计性质及其假定 本节主要研究最小二乘估计量本节主要研究最小二乘估计量 的有限样本性质与渐的有限样本性质与渐进性质，及其相关联的经典假定。这些内容可以理解为进性质，及其相关联

33、的经典假定。这些内容可以理解为是一元线性回归模型统计性质在多元线性回归模型的推是一元线性回归模型统计性质在多元线性回归模型的推广。广。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2626页页一、一、OLSE的有限样本性质及其假定的有限样本性质及其假定（一）（一）OLSE的无偏性及其假定的无偏性及其假定 首先给出多元线性回归模型中首先给出多元线性回归模型中OLSE的无偏性涉及的无偏性涉及的相关假定。的相关假定。假定假定MLR.1：线性回归模型假定：线性回归模型假定总体回归模型可表述为总体回

34、归模型可表述为01 122kkyxxxu012,k 其中，其中， 是我们所关心的未知参数，而是我们所关心的未知参数，而u是是无法观测的随机误差项。回归模型对参数而言是线性无法观测的随机误差项。回归模型对参数而言是线性的，但它对变量而言不一定是线性的，因变量的，但它对变量而言不一定是线性的，因变量y和自变和自变量量 可以是我们所关心的变量的任意函数。可以是我们所关心的变量的任意函数。12,kx xx机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2727页页该假定定义了多元线性回归模型的形式。

35、该假定定义了多元线性回归模型的形式。假定假定MLR.2: 随机抽样假定（独立同分布假定）随机抽样假定（独立同分布假定）12(,):1,2,iikiixxxyin 有一个包含有一个包含n次观测的样本次观测的样本, 它随机取自满足假定它随机取自满足假定MLR.1中的总体模型。随机性假定中的总体模型。随机性假定意味着各样本点独立同分布的。与一元线性回归模型类意味着各样本点独立同分布的。与一元线性回归模型类似，也可以使用固定回归元或随机回归元假定。可以用似，也可以使用固定回归元或随机回归元假定。可以用随机样本的形式将回归模型写成随机样本的形式将回归模型写成 01 122iiikkiiyxxxu是第次观

36、测的误差或干扰项。是第次观测的误差或干扰项。 iu机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2828页页假定假定MLR.3: 解释变量之间无完全共线性假定解释变量之间无完全共线性假定 在假定在假定MLR.1的回归模型中，没有一个自变量是的回归模型中，没有一个自变量是常数，任意两个或几个自变量间不存在严格的线性关常数，任意两个或几个自变量间不存在严格的线性关系，也就是说解释变量的样本矩阵系，也就是说解释变量的样本矩阵X是满列秩，即是满列秩，即 ()1rankkn X 如果一个自变量刚好是

37、其他自变量的一个线性组如果一个自变量刚好是其他自变量的一个线性组合，也即模型遇到完全共线性（合，也即模型遇到完全共线性（Perfect Collinearity）问题，该模型的参数也就无法估计了。值得注意的问题，该模型的参数也就无法估计了。值得注意的是，假定是，假定MLR.3允许自变量之间存在一定的相关关允许自变量之间存在一定的相关关系，但不能完全相关。系，但不能完全相关。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第2929页页 假定假定MLR.4：随机项零条件均值假定（解释变量：随机项

38、零条件均值假定（解释变量外生性假定）外生性假定）iu12,iikixxx即在给定解释变量即在给定解释变量的条件下，随机扰动项的条件下，随机扰动项的条件均值为零。即的条件均值为零。即12|,0iiikiiE uxxxE u X(3.13)此时对于多元回归模型就有此时对于多元回归模型就有 1201 122(|,.,)iiikiiikkiE yxxxxxx 该假定意味着：经验分析所用的模型中不存在设定偏该假定意味着：经验分析所用的模型中不存在设定偏误（误（Specification Bias）或设定误差（）或设定误差（Specification Error），也就是说，回归模型设定是正确的；解释变）

39、，也就是说，回归模型设定是正确的；解释变量具有外生性。量具有外生性。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3030页页j 因为以自变量的样本值为条件，因为以自变量的样本值为条件， 是一个常数矩阵，是一个常数矩阵，由（由（3.10）式知）式知 是是Y的线性组合，为线性估计量。由（的线性组合，为线性估计量。由（3.3）式和（）式和（3.10）式知）式知1()X XX 当回归模型满足假定当回归模型满足假定MLR.1假定假定MLR.4时时,回归参数的回归参数的OLS估计量估计量 是线性的和

40、无偏的。证明如下是线性的和无偏的。证明如下：-1-1()()u = X XX Y =+ X XX 说明最小二乘估计量说明最小二乘估计量 不仅是不仅是的线性组合，也是随机项的线性组合，也是随机项u的的线性组合。线性组合。对对(3.10)式两边取期望值，利用假定式两边取期望值，利用假定 1，E(u |X) = 0， 可得可得 -1-1()()()Xu E(X)= E X XX Y X = EX XX-1()()E u X+ X XX机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3131页页也就

41、是说，也就是说，OLSE在假定在假定MLR.1假定假定MLR.4下，是总体参数下，是总体参数的线性无偏估计量。的线性无偏估计量。（二）（二）OLSE的有效性及其假定的有效性及其假定假定假定MLR.5：条件同方差性假定：条件同方差性假定12,iikixxx对于任意的解释变量观测值对于任意的解释变量观测值，随机扰动项，随机扰动项iu的条件方差相同。用公式表示为：的条件方差相同。用公式表示为： 21 ,2var(|,)var()iiikiiuux xxu X(1,2, )in 这表明，对于每个解释变量的组合，这表明，对于每个解释变量的组合，ui的方差都等于某的方差都等于某个固定的正的常数。如果该假定

42、不成立，就说模型具有异方差个固定的正的常数。如果该假定不成立，就说模型具有异方差性性(Heteroscedasticity)，表示，表示ui的方差随解释变量的变化而变化。的方差随解释变量的变化而变化。(1, )jjk 在假定在假定MLR.1假定假定MLR.5下，可以得到下，可以得到OLS估计量估计量机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3232页页的抽样方差：的抽样方差：212222var()()() (1)ujjjujujijjCxxRX X(3.14)21.(1)jjjCSST

43、R其中其中，2()ijjxx,jSST常被简记为常被简记为2jRjx是将是将对其余自变量对其余自变量进行回归所得到的判别系数进行回归所得到的判别系数R2 。var()jj是而且可以证明而且可以证明，的所有线性无偏估计量中最小的的所有线性无偏估计量中最小的估计量，即具有最优性（证明见本章附录）。估计量，即具有最优性（证明见本章附录）。 在多元线性回归模型中，假定在多元线性回归模型中，假定MLR.1假定假定MLR.5称为高称为高斯斯-马尔科夫假定。马尔科夫假定。 在高斯在高斯-马尔科夫假定下，马尔科夫假定下， jj的的OLS估计量估计量具有线性、无具有线性、无机动 目录 上页 下页 返回 结束 2

44、0212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3333页页偏性、有效性的有限样本性质，即偏性、有效性的有限样本性质，即OLSE是最优线性无偏估是最优线性无偏估计量（计量（BLUE）。这就是著名的）。这就是著名的“高斯马尔科夫定理高斯马尔科夫定理”。j式式(3.14)给出了回归参数最小二乘估计量给出了回归参数最小二乘估计量 的方差表达式，然的方差表达式，然是未知数，还需予以估计。是未知数，还需予以估计。2u而其中总体随机项的方差而其中总体随机项的方差可以证明可以证明 222()11iiiueyynknk是是 的无偏估计量。其中的

45、无偏估计量。其中k为自变量个数。它的算术方为自变量个数。它的算术方根根 称为估计标准误差称为估计标准误差（S.E. of regression） 。 2uu22()11iiiueyynknk（3.15） 机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3434页页()jsej由由(3.14)、（、（3.15）知）知,系数系数 的估计标准误差的估计标准误差为为222()(1)ujjujjsecSSTR（3.16） 在在EViews的输出结果中，各回归系数的估计标准误差的输出结果中，各回归系数的

46、估计标准误差()jse写为写为Std.Error （三）（三）OLSE的正态性假定的正态性假定为了进一步进行统计推断，多元线性回归模型同样需要正态性假定。为了进一步进行统计推断，多元线性回归模型同样需要正态性假定。假定假定MLR.6：随机误差项的正态性假定：随机误差项的正态性假定总体误差项总体误差项 独立于解释变量独立于解释变量 iu12,kx xx而且独立同分布而且独立同分布机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3535页页于均值为零方差为于均值为零方差为2u的正态分布：的正态分

47、布： 2. . .(0,)iuuii d N 假定假定MLR.6是一个比前面任何一个假定都更强的假定。实是一个比前面任何一个假定都更强的假定。实际上，由于在假定际上，由于在假定MLR.6下下 独立于解释变量独立于解释变量 iu12, , ,kx xx所以所以 1 ,2(|,)()0iiikiiE ux xxE u21 ,2var(|,)var( )iiikiiuux xxu因此，如果做出假定因此，如果做出假定MLR.6，就必然假定了，就必然假定了MLR.4 和和MLR.5。 就横截面回归中的应用而言，从假定就横截面回归中的应用而言，从假定MLR.1假定假定MLR.6这六个假定被称为经典多元线性

48、模型（这六个假定被称为经典多元线性模型（CLM）假定（古典假）假定（古典假定）。定）。总结古典假定的一种简洁方法是总结古典假定的一种简洁方法是201 122. . . (,)kkuy xii d Nxxx（3.17）其中，其中， x是是 12( ,)kx xx的简记，也就是说，以的简记，也就是说，以x为条件的为条件的 ,iy独立地同分布于正态分布，分布的均值是独立地同分布于正态分布，分布的均值是 12,kx xx的线性函的线性函数，分布方差为一常数。数，分布方差为一常数。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大

49、学统计学院计量经济教研室第第3636页页二、二、OLSE的渐进性质的渐进性质 前面我们讨论了前面我们讨论了OLSE的有限样本性质。比如，的有限样本性质。比如，OLSE在前在前四个高斯四个高斯-马尔科夫假定下具有无偏性，马尔科夫假定下具有无偏性，OLSE在全部高斯在全部高斯-马尔马尔科夫假定下具有最优线性无偏性的特性，这都是科夫假定下具有最优线性无偏性的特性，这都是OLSE的有限样的有限样本（或小样本）性质，本（或小样本）性质， 因为它对任何样本容量因为它对任何样本容量n（只要（只要n大于等大于等于模型中参数的个数于模型中参数的个数k+1）都成立。）都成立。 与一元回归模型一样，了解多元线性回归

50、模型估计量的与一元回归模型一样，了解多元线性回归模型估计量的渐进性质也很重要。在高斯渐进性质也很重要。在高斯-马尔科夫假定（假定马尔科夫假定（假定MLR.1假假定定MLR.5）下，多元线性回归模型的）下，多元线性回归模型的OLSE具有令人满意的大具有令人满意的大样本性质，即具有一致性和渐进有效性。而且即使没有正态样本性质，即具有一致性和渐进有效性。而且即使没有正态性假定（假定性假定（假定MLR.6），），OLSE在大样本下也近似服从正态分在大样本下也近似服从正态分布，即具有渐近正态性。布，即具有渐近正态性。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经

51、大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3737页页 更为重要的是，要获得更为重要的是，要获得OLS估计量的一致性，在估计量的一致性，在MLR.1假定假定MLR.3下，下，MLR.4关于随机项均值独立于解释变量假关于随机项均值独立于解释变量假定可以用更弱的线性无关假定代替定可以用更弱的线性无关假定代替.对于多元线性回归模型，对于多元线性回归模型，这一假定的表述如下：这一假定的表述如下：假定假定MLR.4：零期望和零相关性假定：零期望和零相关性假定，都有，都有1,2,jk 随机误差项的期望值为零，随机误差项与解释变量的协方随机误差项的期望值为零，随机误差项与解释变量的协方

52、差为零，即对于所有的差为零，即对于所有的( )0E u cov(, )0jx u OLSE的渐进性质及其条件告诉我们，在大样本条件下，的渐进性质及其条件告诉我们，在大样本条件下，我们可以在更为宽松的条件下借助于最小二乘法进行多元线我们可以在更为宽松的条件下借助于最小二乘法进行多元线性回归分析，从而可以大大拓宽性回归分析，从而可以大大拓宽OLS的应用范围。的应用范围。机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3838页页第三节第三节多元回归模型参数的区间估计与假设检验多元回归模型参数的区

53、间估计与假设检验一、回归参数的置信区间一、回归参数的置信区间根据假定根据假定MLR.6， 服从正态分布，这决定了服从正态分布，这决定了yi也是服从正态分布也是服从正态分布的随机变量。由于最小二乘估计量的线性性质，的随机变量。由于最小二乘估计量的线性性质， iu(0,1,2, )jjk是是yi的线性函数，这决定了的线性函数，这决定了 也是服从正态分布的随机变量。也是服从正态分布的随机变量。又由于又由于 j()jjE2()jjjuVarC所以，所以， 2(,)jjjjuNCvar()j由于由于是未知的，故是未知的，故也未知。但可也未知。但可2u2u用用 的无偏估计量的无偏估计量 222()11ii

54、iueyynknk代替代替2u机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第3939页页对对j作标准化变换，作标准化变换， 可以证明所构造的枢轴变量可以证明所构造的枢轴变量 服从自由度服从自由度jt为为n-k-1的的t分布，即分布，即2 (1)()jjjjjjjjutt nkseC/2(|(1)1,jP ttnk 由由的置信区间为：的置信区间为： 可得可得 的置信度为的置信度为1j/2/2(1)(),(1)()jjjjtnksetnkse22/2/2(1),(1)jjjujjjutnkCt

55、nkC机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4040页页例例33运用表运用表3-1样本的数据样本的数据, 1试在试在95的置信水平下，构的置信水平下，构造造 的置信区间。的置信区间。由表由表3-2可知，可知， 1()0.3641,Se11.179,由于给定的置信水平由于给定的置信水平为为95，则，则 0.05查查t分布表得临界值：分布表得临界值： 20.025(4)(20)2.086tnt将有关数据代入（将有关数据代入（3.19）式，即可得到）式，即可得到1的置信度为的置信度为95

56、%的的置信区间：置信区间：1/211/21(4)(),(4)() =0.4198,1.9390 tnsetnse机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4141页页二、回归参数的假设检验二、回归参数的假设检验（一）单个回归参数的检验：（一）单个回归参数的检验：t检验检验 多元回归分析中对各个回归参数的假设检验，目的在于分多元回归分析中对各个回归参数的假设检验，目的在于分别检验当其它解释变量不变时，该回归参数对应的解释变量别检验当其它解释变量不变时，该回归参数对应的解释变量是否对被解释

57、变量有显著的解释能力。回归系数显著性检验是否对被解释变量有显著的解释能力。回归系数显著性检验一般采用一般采用t检验，检验原理与一元线性回归的检验基本相同，检验，检验原理与一元线性回归的检验基本相同，检验法则取决于我们建立的零假设检验法则取决于我们建立的零假设 和备择假设和备择假设 。常。常用的假设形式为：用的假设形式为：0H1H0010:;:jjHc Hc(双侧备择假设双侧备择假设) 0010:;:jjHc Hc(右单侧备择假设右单侧备择假设)0010:;:jjHc Hc(左单侧备择假设左单侧备择假设)机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学

58、统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4242页页第一步：提出假设第一步：提出假设0j0:H1:0jH第二步：构造第二步：构造t统计量统计量 在多数应用中，研究者主要关注的是回归系数是否显著不在多数应用中，研究者主要关注的是回归系数是否显著不为零，也即参数的显著性检验。为零，也即参数的显著性检验。 j以的显著性检验（双边检验）为例，的显著性检验（双边检验）为例，t检验的基本步骤为：检验的基本步骤为：2 (1)()jjjjjjutt nkseC（3.20）()jjse是其中，其中，的估计标准误差（的估计标准误差（Std.Error）。）。机动 目录 上页 下页 返回 结束

59、20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4343页页第三步，做出统计决策。第三步，做出统计决策。2(1)tnk若若 则拒绝原假设则拒绝原假设H0 ，说明自变量，说明自变量 对因对因变量变量 的线性相关关系显著；的线性相关关系显著； 2(1)jttnkyjxjx2(1)ttnky若若 则接受原假设则接受原假设H0 ，说明自变量，说明自变量 对因变量对因变量 的线性相关关系不显著；的线性相关关系不显著； 例例34仍以例仍以例31资料为例，检验回归参数的显著性。资料为例，检验回归参数的显著性。0:0jH1,2,3j 1:0j

60、H1,2,3j 由第二节表由第二节表3-2可知可知给定显著性水平给定显著性水平 ，查表可得到临界值，查表可得到临界值1()0.3641,se3()0.1604,se2()0.1168,se机动 目录 上页 下页 返回 结束 20212021年年9 9月月2828日日 山东财经大学统计学院计量经济教研室山东财经大学统计学院计量经济教研室第第4444页页1111.179=3.2390.3641()tse0.05 由由查查t分布临界值表得：分布临界值表得： 0.05/2(20)2.086t10.05/23.239(20)2.086,tt因为因为所以我们拒绝原假设所以我们拒绝原假设 ，即自变量即自变量