一元线性回归模型06411

1、Econometrics第三章第三章 一元线性回归模型一元线性回归模型（教材第二、三章）（教材第二、三章）第三章第三章 一元线性回归模型一元线性回归模型3.1 3.1 回归的涵义回归的涵义3.2 3.2 随机扰动项的来源随机扰动项的来源3.3 3.3 参数的最小二乘估计参数的最小二乘估计3.4 3.4 参数估计的性质参数估计的性质3.5 3.5 显著性检验显著性检验3.6 3.6 拟合优度拟合优度3.7 3.7 预测预测学习要点学习要点 回归模型的涵义，参数的回归模型的涵义，参数的OLS估计估计及其性质，显著性检验及其性质，显著性检验3.1 3.1 回归的涵义回归的涵义回归分析（回归分析（re

2、gression analysis）用于研究一个变量（称为被解释变量被解释变量或应变量应变量）与另一个或多个变量（称为解释变量解释变量或自变量自变量）之间的关系。Y代表被解释变量，X代表解释变量；解释变量有多个时，用X1，X2，X3等表示。例：商品的需求量与该商品价格、消费者收入以及其他竞争性商品价格之间的关系。总体回归函数（总体回归函数（population regression function，PRF）例：学生的家庭收入与数学分数有怎样的关系？3.1 3.1 回归的涵义回归的涵义3.1 3.1 回归的涵义回归的涵义总体回归函数（总体回归函数（population regression f

3、unction，PRF）根据上面数据做散点图3.1 3.1 回归的涵义回归的涵义总体回归函数（总体回归函数（population regression function，PRF）上图中，圆圈点称为条件均值；条件均值的连线称为总体回归线。总体回归线表明了Y的均值与每个X的变动关系。上图近似线性的总体回归线可以表示成： 表示给定的X值所对应的Y的均值； 、 称为参数（parameters），也称回归系数（regression coefficients）； 称为截距（intercept）， 称为斜率（slope）。斜率系数度量了X每变动一单位，Y（条件）均值的变化率。举例： ，含义？12iiE Y

4、XBB XiE Y X1B2B1B2B20.001B 3.1 3.1 回归的涵义回归的涵义样本回归函数（样本回归函数（sample regression function, SRF）实际中往往无法获得整个总体的数据，怎么估计总体回归函数？即如何求参数B1、B2？通常，我们仅仅有来自总体的一个样本。我们的任务就是根据样本信息估计总体回归函数。怎么实现？3.1 3.1 回归的涵义回归的涵义样本回归函数（样本回归函数（sample regression function, SRF）表2-2、2-3的数据都是从表2-1中随机抽取得到的。3.1 3.1 回归的涵义回归的涵义样本回归函数（样本回归函数（s

5、ample regression function, SRF）通过散点得到两条“拟合”样本数据的样本回归线。3.1 3.1 回归的涵义回归的涵义样本回归函数（样本回归函数（sample regression function, SRF）可用样本回归函数（SRF）表示样本回归线： 其中， 总体条件均值 的估计量；并非所有样本数据都准确地落在样本回归线上，因此建立随机样本回归函数： 其中， 是 的估计量，称 为残差（residual）。 表示了Y的实际值与样本回归估计值的差。 iY iE Y X12iiYbb X1122bBbB的估计量；的估计量12iiiYbb Xeieiuieie3.1 3.1

6、 回归的涵义回归的涵义样本回归函数（样本回归函数（sample regression function, SRF）回归分析：根据样本回归函数估计总体回归函数。3.1 3.1 回归的涵义回归的涵义“线性线性”回归的特殊含义回归的特殊含义对“线性”有两种解释：变量线性和参数线性。变量线性：例如前面的总体（或样本）回归函数；下面的函数不是变量线性的：参数线性：参数B1、B2仅以一次方的形式出现。下面的模型是参数非线性的：本书主要关注参数线性模型。从现在起，线性回归（linear regression）是指参数线性的回归，而解释变量并不一定是线性的。 212121, iiE YBB XE YBBX 2

7、12iE YBB X3.2 3.2 随机扰动项的来源随机扰动项的来源总体回归函数说明在给定的家庭收入下，美国学生 平均的平均的数学分数。但对于某一个学生，他的数学分数可能与该平均水平有偏差。可以解释为，个人数学分数等于这一组的平均值加上或减去某个值。用数学公式表示为： 其中， 表示随机扰动项，简称扰动项。扰动项是一个随机变量，通常用概率分布来描述。12iiiYBB Xuiu3.2 3.2 随机扰动项的来源随机扰动项的来源对于回归模型 称为 被解释变量（explained variable） 也称 应变量或因变量（dependent variable） 称为 解释变量（explanatory v

8、ariable） 也称 自变量（independent variable） 称为 参数（parameter） 称为 随机扰动项（random error term）12iiiYBB XuiuiYiX12,B B3.2 3.2 随机扰动项的来源随机扰动项的来源上式如何解释？可以认为，在给定家庭收入水平 上，第i个学生的数学分数可以表达为两部分之和：一是 ，即 ，是该收入水平上的平均数学分数。这一部分称为系统或确定性部分。二是 ，称为非系统或随机成本，由收入以外的因素决定。此时，称 为随机总体回归函数（stochastic PRF）。 12iBB XiE Y XiuiX12iiiiiYE Y Xu

9、BB Xu3.2 3.2 随机扰动项的来源随机扰动项的来源3.2 3.2 随机扰动项的来源随机扰动项的来源性质1：扰动项代表了未纳入模型变量的影响。例如个人健康状况、居住区域等等。性质2：反映了人类行为的内在随机性。即使模型中包括了决定数学分数的所有变量，其内在随机性也不可避免，这是做任何努力都无法解释的。性质3：还代表了度量误差，例如收入的数据可能不等于真实值。性质4：“奥卡姆剃刀原则”即描述应该尽可能简单，只要不遗漏重要的信息，此时可以把影响Y的次要因素归入随机扰动项。3.3 3.3 参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）根据样本回

10、归函数估计总体回归函数，要回答两个问题：如何估计PRF？如何验证估计的PRF是真实的PRF的一个“好”的估计值？这里先回答第一个问题。回归分析中使用最广泛的是普通最小二乘法（method of ordinary least squares, OLS）3.3 3.3 参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）最小二乘原理：由于不能直接观察PRF： 所以用SRF 来估计它，因而最好的估计方法是，选择 使得残差 尽可能小。12iiiYBB Xu12iiiYbb Xe12 iiiiiiieYYYYYbb X实际的估计的12bb、ie3.3 3.3

11、参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）普通最小二乘法就是要选择参数 ，使得残差平残差平方和方和（residual sum of squares, RSS） 最小。即12bb、2ie22212 miniiiiiQeYYYbb X3.3 3.3 参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）如何确定 的值？根据微积分，当 对 的一阶偏导数为0时，Q达到最小。即12bb、12bb、1200QbQb212iiQYbb X121200iiiiiYbb XYbb X X12212iiiiiiYnbb

12、XY XbXbX或3.3 3.3 参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）以上联立方程组称为正规方程组（normal equations）。求解 ，得注意： ，即小写字母代表了变量与其均值的离差。上面给出的估计量称为OLS估计量（OLS estimator）。12bb、1222222iiiiiiiiibYb XXXYYX YnXYx ybXnXxXX,iiiixXXyYY3.3 3.3 参数的最小二乘估计参数的最小二乘估计参数估计：普通最小二乘法（参数估计：普通最小二乘法（OLS）OLS估计量的一些重要性质用OLS法得出的样本回归线经过样

13、本均值点，即残差的均值 总为0。对残差和解释变量的积求和，其值为零，即对残差与 （估计的 ）的积求和，其值为零，即12Ybb Xeie n0iie x 0iieY iYiY3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：数学例子：数学S.A.T分数分数3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：数学例子：数学S.A.T分数分数根据公式可以得到回归结果：432.41380.0013iiYX3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：数学例子：数学S.A.T分数分数根据公式可以得到回归结果：对估计结果的解释：斜率系数0.0013表示在其他条件保持不变的情况下，

14、家庭年收入每增加1美元，数学S.A.T.分数平均提高0.0013分截距432.4138表示，当家庭年收入为0时，数学平均分大约为432.4138。（这样的解释没有什么经济意义）对截距最好的解释是，它代表了回归模型中所有省略变量对Y的平均影响。432.41380.0013iiYX3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：受教育年限与平均小时工资例子：受教育年限与平均小时工资预期平均工资随受教育年限的增加而增加回归结果：0.01440.7241iiYX 3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：股票价格与利率例子：股票价格与利率经济理论表明，股票价格和利率之间存在反

15、向关系。3.3 3.3 参数的最小二乘估计参数的最小二乘估计例子：股票价格与利率例子：股票价格与利率看起来两个变量之间的关系不是线性的（即不是直线），因此，假设实际关系如下：回归结果为：作为比较，线性回归结果为：引发的一个重要问题：哪一个模型更好？如何进行判断？在模型选择中使用那些检验？后面将逐一回答。404.4067996.866 1iiYX121iiiYBBXu1229.341499.401iiYX3.4 3.4 参数估计的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定前面我们回答了“如何估计PRF”的问题OLS。下面我们要回答“怎样判别它是真实PRF的一个

16、好的估计”的问题。只有假定了随机扰动项u的生成过程，才能判定SRF对PRF拟合得是好是坏。OLS估计量的推导与随机扰动项的生成过程无关；但根据SRF进行假设检验时，就必须对随机扰动项的生成做一些特殊的假定，否则无法进行假设检验。下面仍然沿用一元线性回归模型来讨论。3.4 3.4 参数估计的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定假定1. 回归模型是参数线性的，但不一定是变量线性的。回归模型形式如下（可扩展到多个解释变量）：假定2. 解释变量 与随机扰动项 不相关。如果X是非随机的，该假定自动满足；即使X是随机的，如果样本容量足够大，也不会对分析产生严重影响

17、。12iiiYBB XuXu3.4 3.4 参数估计的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定假定3. 给定 ，扰动项的均值为零。即iX0iE u X3.4 3.4 参数估计的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定假定4. 同方差（homoscedastic），即iu 2variu3.4 3.4 参数估计的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定假定5. 无自相关（no autocorrelation），即两个扰动项之间不相关：cov,0, iju uij3.4 3.4 参数估计

18、的性质参数估计的性质古典线性回归模型（古典线性回归模型（CLRM）的假定）的假定假定6. 回归模型是正确设定的，即模型不存在设定偏差或设定误差。为什么需要以上6个假定？这些假定现实吗？如果不满足这些假定，情况又会怎样？如何得知是否满足所有这些假定？这些重要的问题暂时没有答案，事实上，教材“第二部分”都是围绕“如果假定不满足时会怎样”而展开的。3.4 3.4 参数估计的性质参数估计的性质OLS估计量的方差与标准差估计量的方差与标准差有了上述假定后可以计算出估计量的方差和标准差。OLS估计量是随机变量，因为其值随样本的不同而变化，这些估计量的抽样变异性通常由估计量的方差或其标准差来度量。 OLS估

19、计量的方差（variance）及标准差（standard error）：怎么估计 ？2222222var,varbibse bbx 12221112var,varibiXbse bbnx23.4 3.4 参数估计的性质参数估计的性质OLS估计量的方差与标准差估计量的方差与标准差根据下式估计 ：（n-2）称为自由度。在一元线性回归模型中有两个参数，在计算这两个未知参数时，失去了两个自由度。因此，虽然有n个观察值，但自由度仅为（n-2）。顺便指出， 称为回归标准差（standard error of the regression，SER）。2222ien23.4 3.4 参数估计的性质参数估计的性

20、质OLS估计量的方差与标准差：数学估计量的方差与标准差：数学S.A.T一例（一例（教材有误教材有误）3.4 3.4 参数估计的性质参数估计的性质估计结果的报告估计结果的报告估计的数学SAT函数如下（括号内数字为标准差）：OLS估计量的性质估计量的性质可以概括为高斯-马尔柯夫定理(Gauss-Markov theorem)： 如果满足古典线性回归模型的基本假定，则在所有线性估计两种，OLS估计量具有最小方差性，即OLS估计是最优线性无偏估计量（BLUE）。具体见教材PP46。 432.41380.001316.9061 0.000245iiYXse3.5 3.5 显著性检验显著性检验OLS估计量

21、的抽样分布或概率分布估计量的抽样分布或概率分布知道如何计算OLS估计量及其标准差仍然不够，必须求出其抽样分布才能进行假设检验。为了推导抽样分布，再增加一条假定。假定假定7. 在总体回归函数 中，扰动项 服从均值为0，方差为 的正态分布。即为什么可以作这样一个假定？12iiiYBB Xuiu220,iuN3.5 3.5 显著性检验显著性检验OLS估计量的抽样分布或概率分布估计量的抽样分布或概率分布 可以证明， 是 的线性函数，根据“正态变量的线性函数仍服从正态分布”，得知 服从正态分布。中心极限定理： 随着样本量的增加，独立同分布随机变量构造的统计量近似服从正态分布。iu2120,iuNbb、

22、的概率分布？12bb、12bb、3.5 3.5 显著性检验显著性检验OLS估计量的抽样分布或概率分布估计量的抽样分布或概率分布 12221122,bbbN BbN B3.5 3.5 显著性检验显著性检验假设检验假设检验假定：家庭年收入对学生的数学成绩没有影响数值结果表明： 。因此，零假设不成立？不能仅看数值结果，抽样波动性会导致数值结果因样本变化而不同 需要进行假设检验。怎么进行？前面指出：当我们知道估计量的抽样分布后，假设检验将不成问题。讨论以下两种方法：（1）置信区间法（2）显著性检验法02:0HB 20.0013b 2222,ibN Bx3.5 3.5 显著性检验显著性检验假设检验假设检

23、验 能否使用上式进行假设检验？问题在哪里？问题在于真实的 是未知的！可以用 来估计它，则有：2222220,1ibBbBZNse bx2222nibBttx2222,ibN Bx2222ien3.5 3.5 显著性检验显著性检验假设检验：置信区间法假设检验：置信区间法 在数学S.A.T一例中，共有10个观察值，因此自由度为（10-2）=8。假定 ，显著性水平或犯第一类错误（弃真）的概率为5%，于是有 即 2222.3062.3060.95ibBPx2.3062.3060.95Pt 0212:0,:0HBHB3.5 3.5 显著性检验显著性检验假设检验：置信区间法假设检验：置信区间法整理 或 上

24、式给出了 的一个95%的置信区间：重复上述过程，100个这样的区间中将有95个包括真实的 。代入 ，得区间不包括0，所以拒绝零假设 ：家庭年收入对数学S.A.T没有影响。222222.3062.3060.95iiP bBbxx222222.3062.3060.95P bse bBbse b2B2B22bse b、20.000740.00187B02:0HB 3.5 3.5 显著性检验显著性检验假设检验：置信区间法假设检验：置信区间法图形（教材有误） 0.00074 0.001873.5 3.5 显著性检验显著性检验假设检验：置信区间法假设检验：置信区间法按照上述过程，同样可得截距 95%的置信

25、区间：如果 ，则显然拒绝零假设，因为上述95%的置信区间不包括0。如果 ，则不能拒绝该假设，因为95%的置信区间包括了这个值。1B1393.4283471.3993B0111:0,:0HBHB0111:400,:400HBHB3.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法核心思想是根据从样本数据求得的检验统计量的值决定接受或拒绝零假设。前面曾介绍如果令 ，其中， 是 的某个给定数值（例如， ），则根据样本数据很容易求得可用计算出的t值作为检验统计量，它服从自由度为（n-2）的t分布。相应的检验过程称为t检验。2222nbBttse b*222bBtse b估计

26、量-假设值估计量的标准误*022:HBB*2B2B*20B 3.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法在具体进行t检验时（1）对于一元线性回归模型（双变量模型），自由度为（n-2）。（2）常用的显著水平 有1%、5%或10%。为了避免选择显著水平的随意性，通常求出p值（精确的显著水平），如果计算的p值充分小，则拒绝零假设。（3）可用单边或双边检验。3.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法先看双边检验（two-tailed test）假设 ，有自由度为8时，t的（双边）临界值如果计算得到的 超过临界值，则拒绝零假设。0

27、212:0,:0HBHB*2220.001305.43540.00245bBtse b显著水平显著水平临界值临界值t0.013.3550.052.3060.101.860t3.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法 本例t=5.4354，拒绝零假设。相伴概率p约为0.0006，说明如果拒绝零假设，犯错的概率只有万分之六。3.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法再看单边检验（one-tailed test）由于预期家庭收入对数学成绩的影响是正向的，因此假设 （备择假设是单边的）。 此时犯第一类错误的概率不是均等分布在t

28、分布的两侧，而是集中于一侧。左侧还是右侧？自由度为8时，临界t值（右侧）为：结论：拒绝零假设！0212:0,:0HBHB*2220.001305.43540.00245bBtse b显著水平显著水平临界值临界值t0.012.8960.051.8600.101.3973.5 3.5 显著性检验显著性检验假设检验：显著性检验法假设检验：显著性检验法单边t检验： 3.6 3.6 拟合优度拟合优度拟合回归直线的优度：判定系数拟合回归直线的优度：判定系数r2t检验表明样本回归函数很好地拟合了样本数据。但并非每一个Y值都准确地落在了估计的PRF上。能否建立一个“拟合优度”的判定规则，从而辨别估计的回归线拟

29、合真实的Y值的优劣程度？ 判定系数r2（coefficient of determination） 前面讲到 ，作恒等变化，得 iiiYYe iiiiiYYYYYYe即由X变异所解释的部分未解释部分或残差的变异Yi的变异3.6 3.6 拟合优度拟合优度拟合回归直线的优度：判定系数拟合回归直线的优度：判定系数r2 小写字母表示与均值的离差，得或写为两边同时平方再求和，得 iiiiiYYYYYYe即由X变异所解释的部分未解释部分或残差的变异Yi的变异iiiyye2iiiyb xeYY注：22iyb x注：222iiiyye0,0,28iieeYPP注：利用3.6 3.6 拟合优度拟合优度拟合回归直

30、线的优度：判定系数拟合回归直线的优度：判定系数r2 上式出现的各种平方和定义如下： （total sum of squares, TSS）,真实Y值围绕其均值 的总变异。 （explained sum of squares, ESS）,估计的Y值围绕其均值 的变异，也称回归平方和（由解释变量解释的部分）。 （residual sum of squares, RSS）,即Y变异未被解释的部分。于是上式可以简化为： 222iiiyye2iy 总平方和Y2iy 解释平方和YY2ie 残差平方和TSSESSRSS3.6 3.6 拟合优度拟合优度拟合回归直线的优度：判定系数拟合回归直线的优度：判定系数r

31、2 表明Y与其均值的总离差可分解为两部分：一部分归于回归线，另一部分归于随机因素。TSSESSRSS3.6 3.6 拟合优度拟合优度拟合回归直线的优度：判定系数拟合回归直线的优度：判定系数r2对于 ，一般的情形是：ESS和RSS均不为零，如果ESS远大于RSS，则SRF在很大程度上解释了Y的变异；如果RSS远大于ESS，则SRF只能部分解释Y的变异。如何量化“拟合优度”？两边同时除以TSS，得：定义 ，称 为判定系数。度量回归线的拟合优度，或者说度量了回归模型对Y变异的解释比例。TSSESSRSS1ESSRSSTSSTSS2ESSrTSS2r3.6 3.6 拟合优度拟合优度拟合回归直线的优度：

32、判定系数拟合回归直线的优度：判定系数r2计算公式：数学S.A.T一例：该 值已经相当大了，收入变量X解释数学S.A.T分数79%的变异。1ESSRSSTSSTSS27801.077610.786936610r 222iiery2221iiery 2r3.6 3.6 拟合优度拟合优度拟合回归直线的优度：判定系数拟合回归直线的优度：判定系数r2 的两个重要性质：（1）非负性；（2） 趋于1表示拟合得好，反之表示拟合得不好。引起 较低的若干原因：引入的X不合适，其解释能力较差；数据中被解释变量个别观测值具有较大的变差，使总平方和TSS变大。实际使用中，不可一味追求 趋于1。201r2r2r2r2r3.6 3.6 拟合优度拟合优度拟合回归直线