计量经济学：第4章 多元回归：估计与假设检验

1、第4章 多元回归： 估计与假设检验,1,主要内容,4.1 多变量线性回归模型 4.2 多元线性回归模型的若干假定 4.3 多元回归参数的估计 4.4 估计多元回归的拟合优度：多元判定系数 4.5 古董钟拍卖价格一例 4.6 多元回归的假设检验 4.7 对偏回归系数进行假设检验,2,主要内容,4.8 检验联合假设： 或 4.9 从多元回归模型到双变量模型：设定误差 4.10 比较两个 值：校正的判定系数 4.11 什么时候增加新的解释变量 4.12 受限最小二乘 4.13 若干实例 4.14 小结,3,从单解释变量到多解释变量 一个例子：存款机构破产 学习目标 多元回归模型的估计问题 多元回归模

2、型的假设检验问题 多元回归模型区别于双变量模型的特性 如何决定多元回归模型中解释变量的个数,4,4.1 多变量线性回归模型,5,多元线性回归模型,多元线性回归模型：表现在线性回归模型中的解释变量有多个。 一般表现形式：,i=1,2,n,其中:k为解释变量的数目，Bj称为回归参数（regression coefficient）。,6,也被称为总体回归函数的随机表达形式。它的非随机表达式为:,表示：各变量X值固定时Y的均值，即总体回归线上的点。,习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k）,确定成分,随机成分,7,Bj也被称为偏回归系数，

3、表示在其他解释变量保持不变的情况下，X j每变化1个单位时，Y的均值E(Y)的变化; 或者说Bj给出了X j的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,8,其随机表示式:,ei称为残差 (residuals)，可看成是总体回归函数中随机扰动项ui的近似替代。,用来估计总体回归函数的样本回归函数为：,9,4.2 多元线性回归模型的若干假定,10,多元线性回归模型的基本假定,假设1：回归模型是参数线性的，并且正确设定 假设2：解释变量与扰动项不相关 假设3，随机误差项具有零均值、同方差，服从正态分布及不序列相关性（相当于书中的3、4、5、7等四个假设）。,11,多元线性回归模型的基

4、本假定,假设4：解释变量之间不存在完全共线性，即两个解释变量之间无确切的线性关系。 在存在完全共线性的情况下，不能估计偏回归系数，即不能估计各解释变量各自对应变量Y的影响。 实际问题中，很少会遇到完全共线性的情况，但却面临高度共线性或近似完全共线性的情况。,12,13,4.3 多元线性回归参数的估计,14,主要内容,1.普通最小二乘估计量 2.OLS估计量的方差与标准误 3.多元回归OLS估计量的性质,15,1.普通最小二乘估计,对于随机抽取的n组观测值(Yi, Xji), i=1,2,n; j=1,k,如果样本函数的参数估计值已经得到，则有：,i=1,2n,根据最小二乘原理，参数估计值应该是

5、如下方程组的解,16,其中：,17,于是得到关于待估参数估计值的正规方程组：,解这k个方程组成的线性代数方程组，即可得到k个待估参数的估计值bj, j=1,k,18,对于三变量模型：,解得：,19,2.OLS估计量的方差与标准误,标准误的作用： 建立真实参数的置信区间； 检验统计假设,20,方差与标准误的具体公式：,各参数的标准误分别等于它们方差的平方根。,21,3.多元回归OLS参数估计量的性质,在满足基本假设的情况下，其结构参数B的普通最小二乘估计仍具有： 线性性、无偏性、有效性。,同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。,22,1、线性,其中,C=(XX

6、)-1 X 为一仅与固定的X有关的行向量,2、无偏性,23,3、有效性（最小方差性）,这里利用了假设: E(Xu)=0,参数估计量b的方差协方差矩阵,24,其中利用了,和,根据高斯马尔可夫定理， 在所有无偏估计量的方差中是最小的。,25,4.4 多元线性回归模型的拟合优度,26,拟合优度多元可决系数（判定系数）,. 可决系数与校正的可决系数,则,总离差平方和的分解,27,由于:,= 0,所以有：,28,可决系数,该统计量越接近于1，模型的拟合优度越高。,问题：在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大。 这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。 但是，现

7、实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需校正。,29,校正的可决系数（adjusted coefficient of determination）,在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以校正的思路是：将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:,其中：n-k为残差平方和的自由度，n-1为总体平方和的自由度。,30,),31,*2、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:,施瓦茨准则（Schwarz criterion，SC）,这两准则均要求仅当所增加的

8、解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。,赤池信息准则（Akaike information criterion, AIC）,32,33,4.5 古董钟拍卖价格一例,拍卖价格与钟表年代和竞标人数正相关。 斜率系数12.74表示，在其他变量保持不变的条件下，如果钟表年代每增加一年，则钟表价格平均上升12.74马克。 负的截距项没有实际意义。 值相当高，约为0.89，表示两个变量解释了拍卖价格89%的变异。,4.6 多元线性回归模型的假设检验,35,可以证明，在多元线性回归的基本假设条件下，服从正态分布，它们的均值分别为B1，B2，B3方差分别如P76。 但由于2无法观察，故

9、用其无偏估计量代替，所得的OLS估计量服从自由度为(n-3)的t分布，而非正态分布，即：,t统计量,36,4.7对偏回归系数进行假设检验,37,假设检验,一、显著性检验法 二、假设检验的置信区间法,38,一、变量的显著性检验（t检验）,方程的可决系数R2虽然度量了估计回归直线的拟合优度，但R2本身却不能判定回归系数是否是统计显著的，即是否显著不为零。 因此，必须对每个解释变量进行显著性检验偏回归系数的显著性检验，以决定是否作为解释变量被保留在模型中。 这一检验是由对变量的 t 检验完成的。,39,t检验显著性检验法,设计原假设与备择假设：,H1：Bi0,给定显著性水平，可得到临界值t/2(n-

10、k)，由样本求出统计量t的数值，通过 |t| t/2(n-k) 或 |t|t/2(n-k) 来拒绝或接受原假设H0，从而判定对应的解释变量是否应包括在模型中。,H0：Bi=0 （i=1,2k）,注：这里还得注意是单边检验还是双边检验的问题。,40,41,42,2 t检验置信区间法,设计原假设与备择假设：,H1：Bi0,根据给定的显著性水平，可得到临界值t/2(n-k)，进而求得总体参数（偏回归系数）的置信区间，再看该区间是否包含零假设的B值B* （一般为0），以决定接受还是拒绝零假设。,H0：Bi=0 （i=1,2k）,43,44,4.8 检验联合假设,45,4.8 检验联合假设,方程的显著性

11、检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。,1.方程显著性的F检验,即检验模型 i=1,2, ,n 中的参数Bj (j1)是否显著不为0。,46,可提出如下原假设与备择假设：,H0： B2= =Bk=0 H1： Bj不全为0，j1,F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS,由于回归平方和ESS=i2是解释变量X的联合体对被解释变量Y的线性作用的结果，考虑比值：,47,如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。 因此,可通过该比值的大小对总体线性关系进行推断。,根据数理统计

12、学中的知识，在原假设H0成立的条件下，统计量,48,49,50,服从自由度为(k -1, n-k)的F分布。,给定显著性水平，可得到临界值F(k-1,n-k)，由样本求出统计量F的数值，通过 F F(k-1,n-k) 或 FF(k-1,n-k) 来拒绝或接受原假设H0，以判定原方程总体上的线性关系是否显著成立。,51,注意：二元线性回归中，t检验与F检验一致,一方面，t检验与F检验都是对相同的原假设H0：B2=0 进行检验; 另一方面，两个统计量之间有如下关系：,52,2、关于拟合优度检验与方程显著性检验关系的讨论,53,54,4.9 从多元回归模型到双变量模型：设定误差,55,设定误差，是指

13、模型中遗漏或增加若干重要或不重要的变量。,56,解释变量的选择,通常做法： 只要调整的判定系数值增大，就可以增加新的解释变量 对于增加的变量的系数，只要其|t|值大于1，调整的判定系数值就会增加。,57,设定偏差（model specification bias)或设定误差（specification error）,59,4.10 比较两个 值：校正的判定系数,60,可决系数,该统计量越接近于1，模型的拟合优度越高。,问题：在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大。 这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。,61,校正的可决系数（adjusted coefficient of determination）,62,4.11 什么时候增加新的解释变量,63,4.12 受限最小二乘,65,受限模型：不包含任何自变量； 对应受限最小二乘法（RLS） 非受限模型：包含所有的自