计量经济学第5章

1、1计量经济学计量经济学 第第 5 章章多元线性回归模型多元线性回归模型 2 多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式一般表现形式：ikikiiixxxy 22110i=1,2,n其中:k为解释变量的数目，j称为回归参数回归参数（regression coefficient）。 习惯上习惯上：把常数项常数项看成为一虚变量虚变量的系数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（模型中解释变量的数目为（k+1+1） 5.1 多元回归模型的形式与基本假定3ikikiiixxxy 22110也被称为也被称为总体回归函数总体回归函数的的随机

2、表达形式随机表达形式。它。它 的的非随机表达式非随机表达式为为:kikiikiiiixxxxxxye 2211021),|( 方程表示：方程表示：各变量各变量x x值固定时值固定时y y的平均响应的平均响应。 j也被称为也被称为偏回归系数偏回归系数，表示在其他解释变，表示在其他解释变量保持不变的情况下，量保持不变的情况下，xj每变化每变化1个单位时，个单位时，y的均值的均值e(y)的变化的变化; 或者说或者说j给出了给出了xj的单位变化对的单位变化对y均值的均值的“直直接接”或或“净净”（不含其他变量）影响。（不含其他变量）影响。4总体回归模型总体回归模型n个随机方程的个随机方程的矩阵表达式矩

3、阵表达式为为 xy其中其中)1(212221212111111knknnnkkxxxxxxxxxx1)1(210kk121nn5样本回归函数样本回归函数：用来估计总体回归函数：用来估计总体回归函数kikiiiixxxy22110其其随机表示式随机表示式: : ikikiiiiexxxy22110 ei称为称为残差残差或或剩余项剩余项(residuals)，可看成是总，可看成是总体回归函数中随机扰动项体回归函数中随机扰动项 i的近似替代。的近似替代。 样本回归函数样本回归函数的的矩阵表达矩阵表达: : xy或或exy其中：其中：k10neee21e6二、多元线性回归模型的基本假定二、多元线性回归

4、模型的基本假定 假设1，解释变量是非随机的或固定的，且各x之间互不相关（无多重共线性）。 假设2，随机误差项具有零均值、同方差及不序列相关性0)(ie22)()(iievar0)(),(jijiecovnjiji, 2 , 1, 假设3，解释变量与随机项不相关 0),(ijixcov假设4，随机项满足正态分布 ), 0(2nikj,2 , 1 7上述假设的上述假设的矩阵符号表示矩阵符号表示 式：式： 假设1，n(k+1)矩阵x是非随机的，且x的秩为k+1，即x满秩。 假设2， 0)()()(11nneeeennee11)( 21121nnnei22211100)var(),cov(),cov(

5、)var(nnn8假设4，向量 服从多维正态分布，即 ),(2i0n假设3，e(x )=0，即 0)()()(11ikiiiiikiiiiexexexxe以上假定在纯数学的意义是保证估计参数有唯以上假定在纯数学的意义是保证估计参数有唯一的解，同时保证了良好的统计特征。一的解，同时保证了良好的统计特征。在样本容量足够大时，中心极限定理，假设4是近似成立的。因此，假设4可以是不必要的。9 注意：假设注意：假设1的含义的含义111121221111jkjknnjnkxxxxxxxxxx0112,knx的秩为k+1，即x列满秩，x的各列是线性无关的。10 回忆：由线性代数可知回忆：由线性代数可知如果一

6、个矩阵没有逆矩阵，则被称为奇异矩阵，如果一个矩阵没有逆矩阵，则被称为奇异矩阵，如果有则为非奇异矩阵（如果有则为非奇异矩阵（non-singular）对于对于n阶方阵阶方阵a，a是非奇异矩阵的充要条件是是非奇异矩阵的充要条件是a的行列式不等于的行列式不等于0当且仅当矩阵满秩时，其行列式不等于零当且仅当矩阵满秩时，其行列式不等于零()()1rank x xrank xkk+1) (k+1),.x xx x为(阶方阵,所以,为非奇异矩阵 可逆证明：思考：如果x列线性相关，则矩阵 就不存在。1()x x知识点：样本容量问题知识点：样本容量问题 （1）必须保证最小样本容量。样本最小容量必）必须保证最小样

7、本容量。样本最小容量必须不少于模型中解释变量的数目（包括常数项），须不少于模型中解释变量的数目（包括常数项），即即n k+1，因为，无多重共线性要求：秩，因为，无多重共线性要求：秩(x)=k+1。 （2）满足基本要求的样本容量。虽然当）满足基本要求的样本容量。虽然当nk+1时可以得到参数估计量，但除了参数估计量质量时可以得到参数估计量，但除了参数估计量质量不好外，一些建立模型必须的后续工作也无法进不好外，一些建立模型必须的后续工作也无法进行。所以，一般经验认为，当行。所以，一般经验认为，当n30或者至少或者至少n3(k+1)时，才能说满足模型估计的基本要求。时，才能说满足模型估计的基本要求。1

8、112 与一元回归类似，我们只能得到样本，而不能得与一元回归类似，我们只能得到样本，而不能得到总体，因此，建立的样本回归方程为到总体，因此，建立的样本回归方程为yxe12nyyyy111121221111jkjknnjnkxxxxxxxxxx0112,kneeee5.3 普通最小二乘估计（普通最小二乘估计（osl）13 回顾：普通最小二乘估计是使得回归的残回顾：普通最小二乘估计是使得回归的残差平方和最小。差平方和最小。5.3 普通最小二乘估计（普通最小二乘估计（osl）1212() ()nneeqeeeeqyxyxe e即，145.3 普通最小二乘估计（普通最小二乘估计（osl） 上式中，利用

9、了上式中，利用了 1n、n（k+1）、（）、（k+1）1=（11）是一个标量，它的转置矩阵不变，即）是一个标量，它的转置矩阵不变，即min() ()2qyxyxyyyxx yx xyyx yx xxyy xx y15 求偏导，得到求偏导，得到 则则 220qx yx x x yx x22qx x 是一个正定矩阵xyxx1)(是使方程最小化的解。xx是非奇异矩阵，故逆矩阵存在1()x xx y又因为其二阶条件16知识点：正定矩阵知识点：正定矩阵 对于任意的非零向量对于任意的非零向量c，令，令ac x xc 则则2iac x xcv vv 除非v中的每一个元素为0， 否则a为正的。但是，若v为0，

10、则0vxc这与x中的向量线性无关的假设是矛盾的，故x满秩，则必有 为正定矩阵。x x 17销售量(千克)价格(元/千克)广告支出(元/千克)55100.557090.639080.7210070.79070.6310570.7358070.561106.50.71512560.7511560.691305.50.71513050.65设苹果销量不仅与的价格(元/千克)有关，而且与相应的广告支出有关。 18 设需求量设需求量y关于价格关于价格x1和广告支出和广告支出x2的线性回归的线性回归模型。模型。01122 (1,2,12)iiiiyxxui65. 051715. 05 . 5169. 06

11、175. 061715. 05 . 6156. 071735. 07163. 0717 . 07172. 08163. 09155. 0101 65. 0715. 069. 075. 0715. 056. 0735. 063. 07 . 072. 063. 055. 055 . 5665 . 677778910111111111111xx16.7078.5505. 878.555 .6098405. 88412191301301151251108010590100907055 65. 0715. 069. 075. 0715. 056. 0735. 063. 07 . 072. 063. 05

12、5. 055 . 5665 . 677778910111111111111yx12008045817.031112848.051200116.16()84609.555.78 804513.088.0555.7870.16817.03112.46 xxxy故样本回归模型为23116.16 13.08112.46 (1,2,12)iiiiyxxei205.4 最小二乘估计量的统计特征最小二乘估计量的统计特征 （2）无偏性）无偏性1111( )()()()()()( )ee x xx ye x xxxe x xxx xx e （1）线性性）线性性1()x xx y估计量是关于y的线性组合。21（3

13、）最小方差性。先求估计量的协方差矩阵）最小方差性。先求估计量的协方差矩阵111112121( )()() ()() ()()() ()()()()varee x xxx x xx xx ex x xx xxi x x xx x 在所有线性无偏估计量中，由最小二乘估计得到的 具有最小的方差。111()()()()x xx yx xxxx xx225.4 最小二乘估计量的统计特征最小二乘估计量的统计特征 基于以上的证明，我们知道，最小二乘估基于以上的证明，我们知道，最小二乘估计具有计具有线性性线性性无偏性无偏性有效性：在所有线性无偏估计量中具有最小方有效性：在所有线性无偏估计量中具有最小方差性差性

14、 所以，最小二乘估计量为最佳线性无偏估计量（blue）。23随机误差项方差随机误差项方差 的无偏估计量的无偏估计量 为为其中，其中，n为样本容量，为样本容量，k+1为待估计参数的个为待估计参数的个数。（残差有数。（残差有n-k-1个自由度）个自由度）222s2(1)se e nk由上文的推导可知由上文的推导可知21( )()varx x随机误差项随机误差项 一般是不知道的，因此需要用残差一般是不知道的，因此需要用残差e来估计，在多元回归中可以证明来估计，在多元回归中可以证明:5.5 统计推断（为统计推断（为t检验准备）检验准备）2245.6 变量的显著性检验（变量的显著性检验（t检验）检验）

15、证明：证明：ols估计量的分布估计量的分布 由于假定由于假定u服从正态分布，即服从正态分布，即 ，因此，因此2( )()( )( )( ) ()e ye xxvar ye ye yye ye u ui), 0(2inu2(,)yn xi 21( ,() )nx x 命题：255.6 变量的显著性检验（变量的显著性检验（t检验）检验）111( )()() ()ee x xx yx xx e yx xx x又因为贝塔估计值是关于又因为贝塔估计值是关于y的线性函数（线性性），的线性函数（线性性），所以贝塔估计值服从正态分布，其均值和方差分别所以贝塔估计值服从正态分布，其均值和方差分别为为2621(

16、,() )nx x 111()()()()x xx yx xxxx xx111112121( )()() ()() ()()() ()()()()varee x xxx x xx xx ex x xx xxi x x xx x所以，所以，27其中，其中，n为样本容量，为样本容量，k+1为待估计参数的个为待估计参数的个数。（残差有数。（残差有n-k-1个自由度）个自由度）),(2iiiicn以cii表示矩阵(xx)-1 主对角线上的第i个元素，于是参数估计量的方差为：其中，2为随机误差项的总体方差，由于总体未知，故方差也不可知。因此，在实际计算时，用它的估计量代替:222(1)()/(1)isn

17、kenkee注意：这里将截距项也作为一个参数。注意：这里将截距项也作为一个参数。28),(2iiiicn若2 已知，可构造如下统计量 2(0,1)iiiiiiiznc但实际上2 未知，只能构造如下统计量 2 (1)() (1)iiiiiiiitt nkscenk参数估计值的样本标准差29 1、提出原假设：、提出原假设： 备择假设：备择假设： 2、计算：、计算： 3、给出显著水平、给出显著水平 ，查自由度为，查自由度为n-k-1 的的 t分布表，分布表，得临界值得临界值0:0ih0:1ihiiits2(1)tnkt检验的步骤检验的步骤30 4、作出判断。、作出判断。 如果如果 ，接受原假设，接受

18、原假设 。 如果如果 ,拒绝原假设，接受备选假拒绝原假设，接受备选假设。设。 p值值:原假设不被拒绝的最大显著程度（接原假设不被拒绝的最大显著程度（接受原假设的概率），显然受原假设的概率），显然p值越小，越能够值越小，越能够拒绝原假设，越能够接受备择假设。拒绝原假设，越能够接受备择假设。2(1)ttnk0:0ih2(1)ttnk31参数的置信区间参数的置信区间 参数的置信区间参数的置信区间用来考察：用来考察：在一次抽样中所在一次抽样中所估计的参数值离参数的真实值有多估计的参数值离参数的真实值有多“近近”。 在变量的显著性检验中已经知道：在变量的显著性检验中已经知道：2 (1)() ()iiii

19、iiiitt nkscetk32容易推出容易推出：在(1-)的置信水平下i的置信区间是 (,)iitstsii22其中，t/2为显著性水平为 、自由度为n-k-1的临界值。 335.7 方程的拟合优度检验（方程的拟合优度检验（r2） 总平方和：总平方和： 回归平方和：回归平方和： 残差平方和：残差平方和：222() (2) ttt2tssyyyyyytyy y-2 ()2tessyytyy y-rsse e3422() ()20 ()tssessrssyyxexex xe ex ex eyyx xe eyye eyytyyytye etssessrss 证明：由于即355.7 方程的拟合优度检

20、验（方程的拟合优度检验（r2） 1）可决系数可决系数 ： 越接近越接近1，估计的回归函数的拟合优度越好。，估计的回归函数的拟合优度越好。222 1rssesstyrtsstssty y yy y2r 问题：问题：在应用过程中发现，如果在模型中增加一个解释变在应用过程中发现，如果在模型中增加一个解释变量，量， r2往往增大（往往增大（why?why?) )这就给人这就给人一个错觉一个错觉：要使得模型拟要使得模型拟合得好，只要增加解释变量即可合得好，只要增加解释变量即可。但是，现实情况往往是，。但是，现实情况往往是，由增加解释变量个数引起的由增加解释变量个数引起的r2的增大与拟合好坏无关的增大与拟

21、合好坏无关，所以，所以，r2需调整需调整。可决系数为何需要调整可决系数为何需要调整 未调整可决系数未调整可决系数 的一个重要特征是：随着样本解的一个重要特征是：随着样本解释变量个数的增加，释变量个数的增加， 的值越来越大。也就是说，的值越来越大。也就是说，在样本容量不变的情况下，在模型中增加新的解在样本容量不变的情况下，在模型中增加新的解释变量不会改变总离差平方和释变量不会改变总离差平方和 ，但可能增加回归，但可能增加回归平方和平方和 ，减少残差平方和，减少残差平方和 ，从而可能改变模型，从而可能改变模型的解释功能。因此在多元线性回归模型之间比较的解释功能。因此在多元线性回归模型之间比较拟合优

22、度时，拟合优度时， 不是一个合适的指标，需要加以调不是一个合适的指标，需要加以调整。而修正的可决系数的值不会随着解释变量个整。而修正的可决系数的值不会随着解释变量个数的增加而增加，因此在用于估计多元回归模型数的增加而增加，因此在用于估计多元回归模型方面要优于未调整的可决系数。方面要优于未调整的可决系数。3637 在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和与总离差平方和将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的分别除以各自的自由度，以剔除变量个数对拟合优度的影响影响，定义调整的可决系数为定义调整的可决系数为) 1/()

23、1/(12ntssknrssr3811)1 (122knnrr没有绝对的标准，模型的拟合优度并不是判断模型的唯一标准，有时为了追求模型的经济意义，可以牺牲一点拟合优度。39 *3）、赤池信息准则和施瓦茨准则为了比较所含解释变量个数不同的多元回归模为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有型的拟合优度，常用的标准还有: : 赤池信息准则（akaike information criterion, aic）nknaic) 1(2lnee施瓦茨准则施瓦茨准则（schwarz criterion，sc） nnknaclnlnee这两准则均要求这两准则均要求仅当所增加的解释变量

24、能够减少仅当所增加的解释变量能够减少aicaic值或值或scsc值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。 40 方程的显著性检验：被解释变量与解释变方程的显著性检验：被解释变量与解释变量之间的线性关系在总体上是否显著成立量之间的线性关系在总体上是否显著成立作出推断。作出推断。 思想：思想：检验是否所有的参数中至少有一个检验是否所有的参数中至少有一个参数显著异于参数显著异于0。 t检验只是检验某个参数的显著性，检验只是检验某个参数的显著性，f检验检验是检验整个方程中的显著性。是检验整个方程中的显著性。5.8 方程总体线性的显著性检验（方程总体线性的显著性检验（f检验）检验）

25、 41 步骤1:提出如下原假设与备择假设 h0： 0=1=2= =k=0 h1： j不全为0 f f检验的思想检验的思想来自于总离差平方和的分解式： tss=ess+rss由于回归平方和2iyess是解释变量x的联合体对被解释变量y的线性作用的结果，考虑比值 22/iieyrssess42 如果这个比值较大，则x的联合体对y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此因此, ,可通过该比值的可通过该比值的大小对总体线性关系进行推断大小对总体线性关系进行推断。步骤2：构造统计量f ，根据数理统计学中的知识，在原假设h0成立的条件下，统计量 (1)ess kfrssnk43服从分子自由度为服从分子自由度为k,分母自由度为分母自由度为 n-k-1的的f分布。分布。 mse和和msr分别为回归均方与误差均方分别为回归均方与误差均方显然显然f值越