第二讲一元线性回归模型

1、第二章第二章 经典单方程计量经济学模型：经典单方程计量经济学模型：一元线性回归模型一元线性回归模型 The Classical Single Equation Econometric Model: Simple Regression Model 本章内容本章内容 2.12.1一元线性回归模型的设定与古典假一元线性回归模型的设定与古典假设设 2.22.2一元线性回归模型的参数估计一元线性回归模型的参数估计 2.32.3一元线性回归模型的检验一元线性回归模型的检验 2.42.4一元线性回归模型的预测一元线性回归模型的预测2.12.1一元线性回归模型的设定与一元线性回归模型的设定与古典假设古典假设

2、一、一元线性回归模型的设定一元线性回归模型的设定总体回归模型总体回归方程(直线)样本回归模型样本回归方程(直线)tttuxy10ttxyE10)(tttexy10ttxy10二、经典线性回归模型的基本假设二、经典线性回归模型的基本假设The Basic Assumptions of Classical Linear Regression Model(CLRM) 1 1、关于模型关系的假设、关于模型关系的假设 线性回归假设。线性回归假设。 X与与Y的关系是线性的。的关系是线性的。iiiXY101100iiiiiiYXYX2 2、关于解释变量的假设、关于解释变量的假设 （1）确定性假设：）确定性假

3、设：X是非随机变量，或称确定是非随机变量，或称确定性变量。性变量。 （2）X与随机项不相关假设。与随机项不相关假设。由确定性假设可以推断。由确定性假设可以推断。cov(,)0,1,2,()0,1,2,iiiiXinE Xin3 3、关于随机项的假设、关于随机项的假设 （1）0均值假设。均值假设。(,)0, ,1,2, ,ijCovi jn ij （2）同方差假设。）同方差假设。()0,1,2,iiEXin2(),1,2,iiVarXin （3）序列不相关假设。）序列不相关假设。l（4）正态性假设。）正态性假设。一般假设随机项服从正态分布。一般假设随机项服从正态分布。22(0 , ) (0 ,

4、)iiN N I D 以上假设（正态性假设除外）也称为线性回归以上假设（正态性假设除外）也称为线性回归模型的模型的经典假设经典假设或或高斯（高斯（Gauss）假设）假设，满足，满足该假设的线性回归模型，也称为该假设的线性回归模型，也称为经典线性回归经典线性回归模型模型（Classical Linear Regression Model, CLRM）。）。 同时满足正态性假设的线性回归模型，称为同时满足正态性假设的线性回归模型，称为经经典正态线性回归模型典正态线性回归模型（Classical Normal Linear Regression Model, CNLRM）。）。2.2 2.2 一元线

5、性回归模型的参数估计一元线性回归模型的参数估计(Estimation of Simple Linear Regression Model) 一、参数的普通最小二乘估计（一、参数的普通最小二乘估计（OLSOLS） 二、最小二乘估计量的性质二、最小二乘估计量的性质 三、参数估计量的概率分布及随机干三、参数估计量的概率分布及随机干 扰项方差的估计扰项方差的估计 一、参数的普通最小二乘估计（一、参数的普通最小二乘估计（OLSOLS）最小二乘法最小二乘法: : 根据被解释变量的所有观测值与估计值之差的根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。平方和最小的原则求得参数估计量。

6、22112011()()nniiiniiMinQYYeYXtttexy10ttxy102 2、正规方程组、正规方程组 该关于参数估计量的线性方程组称为该关于参数估计量的线性方程组称为正规方程正规方程组组（normal equations）。）。QQ01000)(0)(1010iiiiiXXYXY3 3、参数估计量、参数估计量 求解正规方程组得到结构参数的普通最小二乘求解正规方程组得到结构参数的普通最小二乘估计量估计量（ordinary least squares estimators,OLS）及其离差形式：及其离差形式：2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXY

7、XYX 分布参数的普通最小二乘估计分布参数的普通最小二乘估计量量XYxyxiii1021222nei4 4、“估计量估计量”（estimator）和）和“估计值估计值” ” ( (estimate) )的区别的区别 如果给出的参数估计结果是由一个具体样本资如果给出的参数估计结果是由一个具体样本资料计算出来的，它是一个料计算出来的，它是一个“估计值估计值”，或者，或者“点估计点估计”，是参数估计量的一个具体数值；，是参数估计量的一个具体数值； 如果把上式看成参数估计的一个表达式，那么，如果把上式看成参数估计的一个表达式，那么，则是则是Y Yi i的函数，而的函数，而Y Yi i是随机变量，所以参

8、数估是随机变量，所以参数估计也是随机变量，在这个角度上，称之为计也是随机变量，在这个角度上，称之为“估估计量计量”。 二、最小二乘估计量的性质二、最小二乘估计量的性质1 1、概述、概述 当模型参数估计出后，需考虑参数估计值的精当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。考察参数估计量的统计性质。 准则：准则：线性性线性性( (linear) )，即它是另一随机变量的线性函数；，即它是另一随机变量的线性函数；无偏性无偏性( (unbiased) )，即它的均值或期望值等于总体，即它的均值或期望值

9、等于总体的真实值；的真实值；有效性有效性( (efficient) )，即它在所有线性无偏估计量中，即它在所有线性无偏估计量中具有最小方差。具有最小方差。 这三个准则也称作估计量的这三个准则也称作估计量的小样本性质小样本性质。拥有拥有这类性质的估计量称为这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量当不满足小样本性质时，需进一步考察估计量的的大样本或渐近性质大样本或渐近性质( (asymptotic properties) )： 渐近无偏性渐近无偏性，即样本容量趋于无

10、穷大时，是否它的，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；均值序列趋于总体真值； 一致性一致性，即样本容量趋于无穷大时，它是否依概率，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；收敛于总体的真值； 渐近有效性渐近有效性，即样本容量趋于无穷大时，是否它在，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。所有的一致估计量中具有最小的渐近方差。2、高斯、高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估乘估计量是具有最小方差的线性

11、无偏估计量。计量。三、参数估计量的概率分布及随机干三、参数估计量的概率分布及随机干扰项方差的估计扰项方差的估计1 1、参数估计量的概率分布、参数估计量的概率分布 ),(2211ixN),(22200iixnXN样本之间样本之间X的离差越大的离差越大,参数估计的方差越小参数估计的方差越小.2 2、随机误差项、随机误差项 的方差的方差 2 2的估计的估计 2又称为又称为总体方差总体方差。 由于随机项由于随机项 i i不可观测，只能从不可观测，只能从 i i的估计的估计残残差差ei i出发，对总体方差进行估计。出发，对总体方差进行估计。 可以证明可以证明，2的最小二乘估计量最小二乘估计量为：222n

12、ei它是关于它是关于 2的无偏估计量。的无偏估计量。 2.2 2.2 一元线性回归模型的统计检验一元线性回归模型的统计检验Statistical Test of Simple Linear Regression Model 一、拟合优度检验一、拟合优度检验 二、变量的显著性检验二、变量的显著性检验 说说 明明 回归分析回归分析是要通过样本所估计的参数来代替总是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体的真实参数，或者说是用样本回归线代替总体回归线。体回归线。 尽管从尽管从统计性质统计性质上已知，如果有足够多的重复上已知，如果有足够多的重复 抽样，参数的估计值的期望

13、（均值）就等于其抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。一定就等于该真值。 那么，在一次抽样中，参数的估计值与真值的那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行差异有多大，是否显著，这就需要进一步进行统计检验统计检验。 主要包括主要包括拟合优度检验、变量的显著性检验、拟合优度检验、变量的显著性检验、总体显著性检验。总体显著性检验。1 1、回答一个问题、回答一个问题对样本回归直线与样本观测值对样本回归直线与样本观测值之间拟合程度的检验。之间拟合程度的检验。 问题：

14、问题：采用普通最小二乘估计方法，已经保证采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要了模型最好地拟合了样本观测值，为什么还要检验拟合程度？检验拟合程度？一、拟合优度检验一、拟合优度检验2 2、总离差平方和的分解、总离差平方和的分解iiXY10)(YYyiiiiiiiiiyeYYYYYYy)()(Y Y的第的第i i个观测值与样本个观测值与样本均值的离差均值的离差由回归由回归直线解直线解释的部释的部分分 回归直线不能回归直线不能解释的部分解释的部分 离差分解为两离差分解为两部分之和部分之和 对于所有样本点，则需考虑离差的平方和：对于所有样本点，则需考虑离差的平方和：

15、记22)(YYyTSSii总离差平方和，反映样本观总离差平方和，反映样本观测值总体离差的大小。测值总体离差的大小。22)(YYyESSii回归平方和，反映由模型中解释变回归平方和，反映由模型中解释变量所解释的那部分离差的大小。量所解释的那部分离差的大小。22)(iiiYYeRSS残差平方和残差平方和，反映样本观测值与估，反映样本观测值与估计值偏离的大小，也是模型中解释计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。变量未解释的那部分离差的大小。222iiYYYYYYTSS=ESS+RSS Y的观测值围绕其均值的的观测值围绕其均值的总离差总离差(total variation)可分解

16、为两部分：一部分来自回归线可分解为两部分：一部分来自回归线(ESS)，另一，另一部分则来自随机势力部分则来自随机势力(RSS)。 在给定样本中，在给定样本中，TSS不变，不变， 如果实际观测点离样本回归线越近，则如果实际观测点离样本回归线越近，则ESS在在TSS中占的比重应越大，因此中占的比重应越大，因此 拟合优度拟合优度：回归平方和回归平方和ESS/YESS/Y的总离差的总离差TSSTSS3 3、可决系数、可决系数R R2 2统计量统计量 是一个非负的统计量。取值范围：是一个非负的统计量。取值范围：00，11 越接近越接近1 1，说明实际观测点离回归线越近，说明实际观测点离回归线越近，拟合优

17、度越高。拟合优度越高。 拟合优度越高，说明回归结果越好。拟合优度越高，说明回归结果越好。TSSRSSTSSESSR12二、变量的显著性检验二、变量的显著性检验T检验检验(检验单个回归系数是否显著不为零检验单个回归系数是否显著不为零)二、变量的显著性检验：二、变量的显著性检验：T检验检验(检验检验单个变量的回归系数是否显著不为零单个变量的回归系数是否显著不为零) 在一元线性模型中，变量的显著性检验就是判在一元线性模型中，变量的显著性检验就是判断断X X是否对是否对Y Y具有显著的线性影响。具有显著的线性影响。 变量的显著性检验所应用的方法是数理统计学变量的显著性检验所应用的方法是数理统计学中的中

18、的假设检验假设检验。 通过检验通过检验变量的参数真值是否为零变量的参数真值是否为零来实现显著来实现显著性检验。性检验。1 1、假设检验（、假设检验（Hypothesis Testing） 所谓所谓假设检验假设检验，就是事先对总体参数或总体分，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原是否有显著差异，从而决定是否接受或否定原假设。假设。 假设检验采用的逻辑推理方法是反证法。假设检验采用的逻辑推理方法是反证法。先假先

19、假定原假设正确，然后根据样本信息，观察由此定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接假设而导致的结果是否合理，从而判断是否接受原假设。受原假设。 判断结果合理与否，是基于判断结果合理与否，是基于“小概率事件不易小概率事件不易发生发生”这一原理的。这一原理的。2、变量的显著性检验、变量的显著性检验t检验检验),(2211ixN)2(1112211ntSxti用2的估计量代替，构造t统计量11St 对总体参数提出假设：H0：1=0，H1：10 由样本计算由样本计算t统计量值；统计量值； 给定给定显著性水平显著性水平(level of significance)

20、 ，查，查t分分布表得布表得临界值临界值(critical value)t /2(n-2)； 比较，判断：比较，判断： 若若 |t| t /2(n-2)，则以（，则以（1）的）的置信度置信度（confidence coefficient）拒绝拒绝H0 ，接受，接受H1 ； 若若 |t| t /2(n-2)，则以（，则以（1）的置信度）的置信度不拒绝不拒绝H0 。4、关于常数项的显著性检验、关于常数项的显著性检验 T T检验同样可以进行。检验同样可以进行。 一般不以一般不以t t检验决定常数项是否保留在模型中，检验决定常数项是否保留在模型中，而是从经济意义方面分析回归线是否应该通过而是从经济意义

21、方面分析回归线是否应该通过原点。原点。三、总体的显著性检验：F检验2)2)2)（整体显著性检验）一元线性回归模型中，单个变量的一元线性回归模型中，单个变量的t检验与检验与总体回归方程的总体回归方程的F检验是一致的。检验是一致的。多元线性回归模型中，单个变量的多元线性回归模型中，单个变量的t检验与检验与总体回归方程的总体回归方程的F检验不一定一致。检验不一定一致。2.4 2.4 一元线性回归分析的应用：一元线性回归分析的应用：预测问题预测问题 一、点估计：一、点估计：0 0是条件均值是条件均值E(Y|X=X0)或或个值的一个值的一个无偏估计个无偏估计二、区间估计：总体条件均值与个值预测值的置信二

22、、区间估计：总体条件均值与个值预测值的置信区间区间 对于一元线性回归模型对于一元线性回归模型 iiXY10给定样本以外的解释变量的观测值给定样本以外的解释变量的观测值X0，可以得，可以得到被解释变量的预测值到被解释变量的预测值0 0 ，可以此作为其，可以此作为其条件条件均值均值E(Y|X=X0)或或个别值个别值Y0的一个近似估计。的一个近似估计。 严格地说，这只是被解释变量的预测值的估计值，严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因而不是预测值。原因: : 参数估计量不确定；参数估计量不确定； 随机项的影响。随机项的影响。说说 明明一、一、0 0是条件均值是条件均值E(Y|

23、X=XE(Y|X=X0 0) )或个值的或个值的一个无偏估计一个无偏估计1 1、总体个值预测值的点估计：、总体个值预测值的点估计：0100XY给定X0，则X0的点预测值为预测评价 1.平均预测误差平方和的平方根 (RMSE, Root Mean Squared Error) 2.平均绝对误差(MAE, Mean Absosute Error) 3.点预测精度评价: 相对误差: TT*100%YYY2 2、总体个值预测值的区间估计、总体个值预测值的区间估计),(20100XNY)(11 (, 0(220200ixXXnNYY)2(0000ntSYYtYY从而在从而在1- 的置信度下，的置信度下，

24、Y0的置信区间的置信区间为为 002020000YYYYStYYStY总体回归函数和个体的总体回归函数和个体的置信带（域）置信带（域）（confidence band） 样本容量样本容量n越大，预测精度越高。越大，预测精度越高。 样本容量一定时，置信带的宽度在样本容量一定时，置信带的宽度在X均值处最小，在均值处最小，在其附近进行预测（插值预测）精度越大；其附近进行预测（插值预测）精度越大；X越远离其均越远离其均值，置信带越宽，预测可信度下降。值，置信带越宽，预测可信度下降。例:试分析中国居民国内旅游消费支出(Y)与国民收入(X)的关系. 第一步,收集数据(单位:亿元).199519961997

25、19981999200020012002X58478678857446378345820688946897315104791Y13761638211323912832317635223878第二步,作出散点图设定模型:Y=+X+第三步,估计参数Dependent Variable: YMethod: Least SquaresSample: 1995 2002Included observations: 8VariableCoefficientStd. Errort-StatisticProb. C-2108.41272.2625-7.744020.0002X0.0578930.00328717.615220R-squared0.98103 Mean dependent var2615.775Adjusted R-squared0.977869 S.D.