第6章(多元线性回归的向量表述)

1、计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。1第6章 多元线性回归的向量表述 多元线性回归模型的向量形式最小二乘法（OLS）的向量表述最小二乘估计量的性质LR、Wald和LM检验 案例分析计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。2多元线性回归模型的一般形式多元线性回归模型的一般形式 在实际经济问题中，一个变量往往受到多个原因变量的影响，在线性回归模型中则表现为有多个解释变量，这样的模型被称为多元线性回归模型。 模型的一般形式如下：模型的一般形式如下： ikikiiiXXXY 22110 i=1,2,n (2.3.1)其中：k 为解释变量的数目；其中：K为解释变量个数

2、；K+1为未知参数个数 模型中的未知参数 称为偏回归系数， 的数值结果表明，当其他变量保持不变的情况下，X X1 1 增加一个单位，Y Y 平均增加 个单位； 的数值表明，当其他变量保持不变时， X X2 2 增加一个单位，Y Y平均增加 个单位，以此类推。1122计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。3第6章 多元线性回归的向量表述 6.1 多元线性回归模型的向量表述01 122iiikkiiYxxx1,2,in上式是由n个方程，k+1个未知参数组成的一个线性方程组，即：101 1122111201 122222201 122kkkknnnkknnYxxxYxxxYxxx把

3、线性方程组写成矩阵的形式： 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。40112111111222222212111kknnnknnkXXXYXXXYYXXX这个模型相应的矩阵表达式简记为 YX其中：01121111112222222121(1)1(1) 111,1kknnnknnnnknkkXXXYXXXYYXYXXX 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。5多元线性回归模型的四种向量表述多元线性回归模型的四种向量表述 真实的回归模型：真实的回归模型： 估计的回归模型：估计的回归模型： 真实的回归线：真实的回归线： 样本回归线：样本回归线：YXYXYXYX计量

4、经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。66.2 OLS估计量的向量表述估计量的向量表述 1()X XX Y因此，回归参数的因此，回归参数的OLS估计量为：估计量为：计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。76.2 OLS估计量的向量表述估计量的向量表述 注：注：OLSOLS估计量中隐含了一个假设条件估计量中隐含了一个假设条件 , ,只要模型及样本数只要模型及样本数据满足第四章的假定据满足第四章的假定7 7，则，则 一定成立。一定成立。0X X 0X X 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。8随机误差项的方差 的估计因为残差可以表示为： 矩阵 是

5、对称的幂等矩阵，幂等矩阵是指自身相乘后仍等于自身的矩阵，即 。因此残差平方和可以表示为：两边求期望得： 21111()()()()()uYXYXX XX YIX X XX YIX X XXXuIX X XX uMu1()MIX X XX2MM Quuu M Muu Mu1( ) () E QE u IXX XX u计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。9随机误差项的方差 的估计由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：根据迹运算的性质tr(AB)=tr(BA),上式为：即：所以 的无偏估计量是： 1( ) () E QE tr u IXX XX u

6、112121212( ) ()() () ( )() ( )()()(1)KE QE tr IXX XX uutr IXX XX E uutr Itr XX XXtr ItrX XX XNtr INK2 ()()11QuuEENKNK211QRSSNKNK22计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。10OLSOLS估计量估计量 的方差的方差- -协方差估计协方差估计因为：则：111()()()()X XX YX XXXuX XX u111121var( )()() ()()()()()()EEX XX uX XX uX XX E uu X X XX X计量经济学，高教出版社，王

7、少平、杨继生、欧阳志刚等编著。11 一、OLS估计量的有限样本性质 在满足基本假设的情况下，其结构参数 的普通最小二乘估计普通最小二乘估计(OLS)(OLS)具有：线性性线性性、无偏性无偏性、有效性有效性。同时，随着样本容量增加，参数估计量具有：一致性、渐近正态性一致性、渐近正态性。1 1、线性性、线性性其中,C=(XX)-1 X 为一仅与固定的X有关的行向量。2、无偏性、无偏性这里利用了假设: E(X )=0 CYYXXX1)(6.3 最小二乘（最小二乘（OLS）估计量的性质）估计量的性质XXXXXXXYXXX11)()()()()()(1EEEE计量经济学，高教出版社，王少平、杨继生、欧阳

8、志刚等编著。12 3 3、有效性（最小方差性）、有效性（最小方差性） 所谓有效性是指在所有线性无偏估计量中，OLS估计量具有最小方差。为了证明OLS估计量的有效性，现假设有另一任意的线性无偏估计量：其中矩阵A和C是与X矩阵有关的(K+1)N阶矩阵，上式：为了满足无偏性，AX=I必须成立，I是单位矩阵。上式可以得到CX=0，同时意味着 ，所以： 1()AYX XXC Y()AYA XuAXAu1()CAX XX()CYC XuCu121()() ()()0EE X XX uuCX XX C计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。13因此估计量 的方差-协方差矩阵为：显然要使得 的

9、方差最小，必须使C=0，所以 是所有无偏估计量中方差最小的，即OLS估计量具有有效性。 总结：总结：高斯马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量,即OLS估计量是BLUE估计量。var( )var()var()var( )CY计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。14二、二、OLSOLS估计量的渐近性质估计量的渐近性质1.OLS估计量是一致估计量 一致估计量是指对于回归参数的真实值 ，样本容量为N时的OLS估计量记为 ，随着样本容量N的逐步增大， 即：2.OLS估计量的正态性 正态性是指

10、，在大样本下，OLS估计量的分布收敛到正态分布。设 ，则： Nlim()NNp111lim ()NNX XQ21()(0,)dNNQ 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。15补充：样本容量问题补充：样本容量问题 最小样本容量最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 n k+1因为，无多重共线性要求：秩(X)=k+1计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。16 2 2、满足基本要求的样本容量、满足基本要求的样本

11、容量 从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明。 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。176.4 LR、Wald和和LM检验检验1.1.似然比似然比(LR)(LR)检验检验似然比检验是三种检验中最简单的，其原假设和备选假设分别为： HA：原假设的约束条件中至少有一个不成立 LR检验统计量等于似然函数的无约束极大值和有约束极大值之差的两倍，即：其中 分别表示模型中参数向量的无约束和有约束的极大似然估计结果。L

12、R检验的基本思想是：如果约束条件为真，则无约束和有约束的似然函数极大值不应有显著的差异，所以，如果二者存在较大差异则认为约束条件不成立。 在大样本下： q 表示约束条件的个数。 0:( )0Hf2ln( )ln( )LRLFLF, 2( )asyLRq 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。18LR检验的判别规则： 如果 ，则拒绝原假设；反之不能拒绝原假设。2.Wald2.Wald检验检验 LR检验既要估计约束条件下的极大似然函数值，又要估计无约束下的极大似然函数值，但当约束模型的估计很困难时，检验就不适用了。而Wald检验则只需要对无约束模型进行极大似然估计，所以比LR检验

13、具有一定的优势。 Wald检验的原假设和备择假设为： HA：原假设的约束条件中至少有一个不成立。如果约束条件是成立的，我们用参数估计值 来代替参数 ， 应该很接近0；而如果约束条件不成立， 将显著地偏离0。因此构造以下统计量： 2( )LRq0:( )0Hf( )f( )f1( ) var( ( )( )Wfff计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。19 在原假设成立的条件下，在大样本下Wald统计量具有以下渐近分布：q为约束条件的个数。 Wald检验的判别规则： 如果 ，则拒绝原假设；反之就不能拒绝原假设。3.LM检验检验 当无约束模型的估计较容易时，采用Wald检验较方便

14、，但是当无约束模型的估计很难或根本不可能时，只能采用LM检验，LM检验又称为得分检验(Score Test)。 LM检验的基本方法是首先给出无约束的对数似然函数： 2( )asyWq 2( )Wq2ln( ,)LF 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。20对于无约束极大似然估计量 必然有： j=1,2,k 若约束条件成立，则施加约束条件下极大似然估计量 应与不施加约束条件下的极大似然估计量 非常接近。也就是说，如果约束条件 成立， 应近似为零。拉格朗日乘子检验的原理是：如果 显著不为零，则说明约束条件不成立。 LM检验统计量被定义为：其中： 为信息矩阵。在约束条件成立的条件

15、下，LM统计量渐近地服从：q也是约束条件个数，判别规则与前面两种检验方法相同。 jln0jLFjjln/jLFln/jLF1lnln( )LFLFLMI( )I2( )asyLMq 计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。21对三个检验统计量的说明对三个检验统计量的说明1.可以证明，当样本容量趋于无穷大时，三种检验统计量都具有同样的极限分布，检验结果是一致的，即三者在大样本下，同时拒绝原假设或同时不拒绝原假设，这被称为渐近等价； 而对于小或中等样本容量来说，三者的表现不同且未知，检验结果可能不一致。 在实际应用中，对于小或中等样本容量，在进行线性约束检验时，通常的F统计量可能更为有效。2.三种检验统计量均采用极大似然估计量。LR检验同时进行有约束和无约束的极大似然估计；Wald只需做无约束极大似然估计；而LM只需做有约束的极大似然估计。3.对于线性回归模型而言，在有限样本或小样本中，WLRLM 。计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。226.5 案例分析案例分析计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。23计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。24计量经济学，高教出版社，王少平、杨继生、欧