[理学]6第六章 多元线性回归模型ppt课件

1、第六章第六章 多元线性回归模型多元线性回归模型多元回归模型多元回归模型1201212111211101221222220121201212,1,2,iiikiikiiikikkkknnnknnkkikiniiuYXXXXY X XuYXXXuYXXXuYXXXX XX数据：、等为具体某个解释变量，中的 表示为第 次观测为偏回归系数 计算各收入组的条件均值，绘制散计算各收入组的条件均值，绘制散点图点图900/20 1000/30 1100/40 550550600 550600650 600650700650700750650750800X1/x2Y目录目录 第一节第一节 多元线性回归的模型的表

2、示方法和多元线性回归的模型的表示方法和根本假定根本假定 第二节第二节 多元线性回归的参数的多元线性回归的参数的OLS估计及其性质估计及其性质 第三节多元线性回归的统计检验第三节多元线性回归的统计检验 专题：专题：eviews软件入门软件入门第一节多元线性回归的模型的表示和第一节多元线性回归的模型的表示和根本假定根本假定 一、多元线性回归的根本表示方法一、多元线性回归的根本表示方法 二、偏回归系数的含义二、偏回归系数的含义 三、模型的根本假定三、模型的根本假定 返回返回一、一般线性回归模型的根本表示方法一、一般线性回归模型的根本表示方法nYYY211112112122221201122111kk

3、nnnknnkYXYXXXYXXXYXXXuuu112111222212111kknnknXXXXXXXXX 函数形式函数形式：矩阵形式矩阵形式：k21nuuu21niuXXXYiKiKiii， 2133221YX返回Kk为偏回归系数，或偏斜率系数，度量了当其他变量不变时，对应的变量X 的单位变动引起的Y的条件均值的改变量。由此，多元线性回归模型能够“分离”出每个解释变量对被解释变量的影响。（p154例）二、偏回归系数返回 假定假定1：随机扰动项随机扰动项的零均值假定的零均值假定 三、三、古典经典假定古典经典假定niEi, 2 , 10)(或或000)(2121nnEuEuEuuuuEUEUX

4、Y 假定假定2 2：随机扰动项的零均值假定的随机扰动项的零均值假定的同方差假定同方差假定niuEuEuEuVariiii, 2 , 1)()()(222返回假定假定3：无自相关假定无自相关假定多元多元线性回归模型线性回归模型kiuEuEuuEEuuEuuEuuCOVkikikkiiki0)()()()(),()(,),(),()()()(3222112211nnnnuEuuEuuEuuEuuEuuEuEUUEEUUEUUEUVaru）（）（）（协方差矩阵的方差即随机干扰项、假定假定阶单位阵为其中nIn:nnnnnnnIuuEuuEuuEuuEuuEuuEuuEuuEuuE22222122212

5、12111000000 ）（）（）（）（）（）（）（）（）（0),(jiYYCov假定假定4、随机扰动项与解释变量不相关随机扰动项与解释变量不相关互相独立互相独立), 0(2Nui00)(）（即，uXEuXCoviji00022ikiiiiikiiiiEuXEuXEuuXuXuE或或假定假定5、正态性：随机扰动项服从正态分布正态性：随机扰动项服从正态分布 线性回归模型：线性回归模型：例例：一元一元线性回归模型：线性回归模型：), 0(2Nui），（221iiXNY 6、无多重共线性，即假定各解释变量之间不存在线无多重共线性，即假定各解释变量之间不存在线性关系性关系 注注：多元线性回归模型才有无

6、多重共线性的假定：多元线性回归模型才有无多重共线性的假定kXRankX)(满秩的假定解释变量观测值矩阵kXXRankXX ）（也应是满秩的：此时，方阵存在），（所以行列式10XXXX 该式成立，该式成立，X X至少有至少有K K阶子行列式不为零，说明解释变量之间阶子行列式不为零，说明解释变量之间不存在线性相关关系。不存在线性相关关系。 返回第二节第二节 多元线性回归的参数的多元线性回归的参数的OLS估估计及其性质计及其性质 一、参数的一、参数的OLS估计估计 二、二、 OLS估计量的性质估计量的性质 三、三、 OLS估计量的概率分布估计量的概率分布 返回返回2221122)()(kikiini

7、iiiXXYYYeQkjeQjij， 20)(2 例如：多元线性回归模型的多元线性回归模型的“残差平方和为：残差平方和为： 要使要使“残差平方和到达最小，其充分条件是残差平方和到达最小，其充分条件是即：即： 一、一、参数的参数的 OLS估计估计 根本思想根本思想原那么原那么：寻找寻找实际值与拟合值的离差平方和实际值与拟合值的离差平方和为为最最小小的回归直线的回归直线。 0)(20)(20)(2221222122211kikikiikikikiikikiiXXXYQXXXYQXXYQ 化简得正规方程组化简得正规方程组 1111212112111000ini ikkknnKi ieeXXXeX e

8、X eXXXeX e eXY样本回归函数为YXXXk)(121二、参数估计量的性质 在满足根本假设的情况下，总体参数在满足根本假设的情况下，总体参数的的普普通最小二乘估计通最小二乘估计具有：具有：线性性、无偏性、有效性。即高斯即高斯-马尔可夫定理一样成立马尔可夫定理一样成立1、线性性、线性性2、无偏性、无偏性3、最小方差性、最小方差性4、小结、小结返回返回的线性组合是ijYkj), 2 , 1(的积的列向量行与的第）是（）（因为njkYYYYjXXXXYXX211121的线性函数。为所以ijY1、线性性：线性性：返回kkEEE11)(YXXX1）（因为XXXXXXXXXXXXXX1111）（）

9、（）（）（）（）（XXXEE1）（）（）（）（）（）（01EEXXXE2、无偏性、无偏性返回3、最小方差性：参数向量 的最小二乘估计是 的所有线性无偏估计中方差最小的估计量。:jOLS估计量的方差为2112, )jjjjjVarcjncX Xj（）（， ，（是矩阵（）的第 个主对角元素）可以证明：此方差在所有线性无偏估计量中方差最小返回 4、小结：、小结：估计量的估计量的统计性质统计性质1(1,2, )jijkY）线性性：参数的估计量是 的线性组合2()(1,2, )jjEjn）无偏性：3最小方差性：最小方差性：:j的方差为211 2, )jjjjjVarcjncX Xj（）（，（是矩阵（）的

10、第 个主对角元素）在所有线性无偏估计量中方差最小:(1,2, )jjk4）的方差、标准差的估计量分别为：222()-1jijjjjeSccnk2jjjjSSc222():(-1)ienk其中 多元的无偏估计量为，K为解释变量个数返回三、三、ols估计量的概率分布估计量的概率分布 假设检验需要指明总体参数即总体回归假设检验需要指明总体参数即总体回归系数的估计量即样本回归系数服从系数的估计量即样本回归系数服从何种分布何种分布如同需要指明样本均值服从何种分布，才可对如同需要指明样本均值服从何种分布，才可对总体均值进展统计推断一样。总体均值进展统计推断一样。 样本回归系数是样本回归系数是Y的线性函数，

11、因此其概率的线性函数，因此其概率分布取决于分布取决于Y，而，而Y的概率分布取决于随机的概率分布取决于随机误差项误差项有了样本回归系数的有了样本回归系数的OLS估计量的分布信息，估计量的分布信息，就可以利用它进展总体回归系数的统计推断就可以利用它进展总体回归系数的统计推断 1、正态性假定：随机误差项服从正态分布，随机扰动项代表了未引入模型的随机影响之和，根据中心极限定理，大量独立同分布的随机变量之和趋向于正态分布), 0(2Ni2122(,()jjjjjjjjNVarVarccX Xj、则其中：（ ）（是矩阵（）的第 个主对角元素）当未知时，和一元线性回归相同，可以用t检验来进行统计检验返回第三

12、节多元线性回归的统计检验第三节多元线性回归的统计检验 一、拟合优度检验一、拟合优度检验 二、参数显著性检验二、参数显著性检验 三、对结合假设的检验：三、对结合假设的检验：F检验检验 返回返回一、拟合优度检验一、拟合优度检验 p158 1、多元断定系数、多元断定系数R2 2、调整后的多元断定系数、调整后的多元断定系数 返回返回1、多元断定系数、多元断定系数R2 多元断定系数和一元断定系数的计算方法是一样的：因为断定系数的计算只和被解释变量Y有关，和解释变量X无关2、调整后的多元断定系数、调整后的多元断定系数p165 多元断定系数多元断定系数R2存在一个问题：当解释变量个数存在一个问题：当解释变量

13、个数增多时候，离差平方和增多时候，离差平方和RSS至少不会增大，那么至少不会增大，那么多元断定系数多元断定系数R2一般会随着增大解释变量个数增一般会随着增大解释变量个数增多而增大多而增大1可决系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的；2导致解释变量个数不同模型之间比照困难；可决系数只涉及变差，没有考虑自由度。 因此在比较同一被解释变量，但又不同个数的解因此在比较同一被解释变量，但又不同个数的解释变量的模型的时候，释变量的模型的时候， R2存在不合理的存在不合理的 地方地方调整后

14、的多元断定系数性质调整后的多元断定系数性质2i222i222222en1nk1R11 (1 R )ynk-1n11k1,RRRR2R3R 、当则，随着模型中解释变量的增加，越来越小于、可能为负、可以帮助我们对相同被解释变量，不同解释变量的回归模型进行比较二、对回归参数进展假设检验：二、对回归参数进展假设检验：显著性检验法显著性检验法p135 多元线性回归的 参数的显著性检验同为稻草人假设自由度为n-k-1,k为解释变量个数得到t值后和临界值比较，当t值大于临界值，那么回绝零假设iitS返回返回葡萄酒价格预测葡萄酒价格预测数据数据 应变量：应变量： lnprice： 19521980年间共年间共

15、10批，批，用来自六个葡萄种植场的的葡萄酿造的用来自六个葡萄种植场的的葡萄酿造的60种不同种不同葡萄酒的价格，取其对数形式葡萄酒的价格，取其对数形式 自变量：自变量：Age: 葡萄酒存放年数葡萄酒存放年数Temp:葡萄生长期平均气温葡萄生长期平均气温Rain:8/9月份降雨量月份降雨量Wrain:葡萄生长期前一年葡萄生长期前一年10月到次年月到次年3月降雨量月降雨量回归结果括号里数据为标准误差回归结果括号里数据为标准误差NoImageLn(price)0.240age0.608temp SE (0.0075) (0.116) T ( ) 0.0038rain0.00115wrain SE (0

16、.00095) (0.2200051) TR0.828,R =0.811三、对结合假设的检验三、对结合假设的检验p16102300:H.0,HTH ,ii考虑以下的零假设：我们称之为联合假设，如果无法拒绝，表明 同时为零,则解释变量一起对被解释变量没有系统性影响联合假设的意义：在实践中，可能出现一个或多个解释变量各自对被解释变量没有影响（即解释变量没有通过 检验，和零没有显著差异），但集体对解释变量有影响（即拒绝上述举例）回归方程的显著性检验回归方程的显著性检验F检验检验检验因变量和诸自变量之间是否存在显著的检验因变量和诸自变量之间是否存在显著的线性关系线性关系 1、检验的假设：、检验的假设：

17、0320kH：不全为零：), 3,2(1kjHj0( )2( ,1)(1)ESSkHFF k nkRSSnk、成立，则3、根据样本数据，计算、根据样本数据，计算F统计量的值统计量的值 4( ,1)FF k nk、对于给定显著性水平 ，查 分布表确定临界值，说明回归方程显著拒绝原假设、0, ), 1(5HknkFF 变差来源 平方和 自由度 方 差 回 归 残 差 总 变 差ESSkESS kRSS-1n k(1)RSSnkTSS1n(1)ESS kFRSSnk拟合优度检验和F检验的比照 拟合优度检验和F检验都是对回归方程显著性的检验，都是把总离差TSS分解成回归平方和ESS与残差平方和RSS，

18、并在此根底上构造统计量进展检验。F检验零假设成立等价于断定系数为零 模型对观测值的拟合程度越高，模型总体线性关系的显著性就越高。 区别：F检验有准确的分布。返回Eviews软件入门软件入门 启动软件包启动软件包 双击双击“Eviews，进入，进入Eviews主页主页 一、创立工作文件一、创立工作文件点击点击“File/New/Workfile/Ok 出现出现“Workfile Range，目的：，目的： 1、选择数据频率类型选择数据频率类型： Annual 年度年度 Quartely季度季度 Undated or irrequar未注明日期或不规那么的未注明日期或不规那么的 2、确定确定Sta

19、rt date 和和End date出现出现“Workfile对话框子窗口中已有两个变量：对话框子窗口中已有两个变量： c-常数项常数项 resid-模型将产生的残差项模型将产生的残差项 二、二、输入编辑数据输入编辑数据： 法法1：键入：键入： “data y x 一元或一元或“data y x1 x2 多元多元/回车。回车。 法法2：用鼠标单击用鼠标单击“Quick；在出现的下拉菜单中单击；在出现的下拉菜单中单击“Empty Group；在在出现出现Group窗口窗口: 数据表第一序列取名数据表第一序列取名y，键入，键入y的数据；再将数据表第二序列的数据；再将数据表第二序列取名取名x，键入，

20、键入x的数据；的数据；/ 存盘或最小化。存盘或最小化。 注：注：1存盘存盘 点点“File/save，删除原文件名，输入，删除原文件名，输入“自命名自命名/ok； 2 读取数读取数 点点“File/open，点自命名文件，点自命名文件/ok； 三、作图三、作图对数据进展阅读对数据进展阅读 法法1：单击：单击“Quick/Graph在出现的对话框中键入在出现的对话框中键入 y x /ok ；或；或y x1 x2-/ok； 在出现的菜单中点击在出现的菜单中点击 Line Grap； 在下拉菜单中选类型如在下拉菜单中选类型如Scatter Diagram散点图散点图/OK,出现图形；出现图形；- 法

21、法2: 键入键入 graph y x/ok 四、回归分析四、回归分析用用OLS估计未知参数估计未知参数法法1：点击点击“Quick/Estimate Equation; 在估计对话框中，键入在估计对话框中，键入 y c x/ok 法法2: 在命令框键入在命令框键入LS Y C X；或；或 LS Y C X1 X2 /回车回车注：在注：在Equation框中，点击框中，点击Resids,可以出现可以出现Residual、Actual、Fitted的图形的图形 点击点击Stats，返回，返回 五、计算描绘统计量五、计算描绘统计量 点击点击: Quick/Group statistics/Descriptive statistics/Co