内蒙古财经大学计量经济学课件第二章 简单线性回归模型

1、计量经济学,第二章简单线性回归模型,2,从2004中国国际旅游交易会上获悉，到2020年，中国旅游业总收入将超过3000亿美元，相当于国内生产总值的8%至11%。（资料来源：国际金融报2004年11月25日第二版）是什么决定性的因素能使中国旅游业总收入到2020年达到3000亿美元？旅游业的发展与这种决定性因素的数量关系究竟是什么？怎样具体测定旅游业发展与这种决定性因素的数量关系?,引子:中国旅游业总收入将超过3000亿美元吗？,3,第二章简单线性回归模型,本章主要讨论:回归分析与回归函数简单线性回归模型参数的估计拟合优度的度量回归系数的区间估计和假设检验回归模型预测,4,第一节回归分析与回归

2、方程,本节基本内容:回归与相关总体回归函数随机扰动项样本回归函数,5,(一).经济变量间的相互关系确定性的函数关系不确定性的统计关系相关关系(为随机变量)没有关系,一、回归与相关（对统计学的回顾）,6,7,相关关系的类型从涉及的变量数量看简单相关多重相关（复相关）从变量相关关系的表现形式看线性相关散布图接近一条直线非线性相关散布图接近一条曲线从变量相关关系变化的方向看正相关变量同方向变化，同增同减负相关变量反方向变化，一增一减不相关,8,9,和都是相互对称的随机变量线性相关系数只反映变量间的线性相关程度，不能说明非线性相关关系样本相关系数是总体相关系数的样本估计值，由于抽样波动，样本相关系数是

3、个随机变量，其统计显著性有待检验相关系数只能反映线性相关程度，不能确定因果关系，不能说明相关关系具体接近哪条直线计量经济学关心：变量间的因果关系及隐藏在随机性后面的统计规律性，这有赖于回归分析方法,使用相关系数时应注意,10,1“回归”一词的历史渊源英国统计学家F.高尔顿(F.Galton:18221911)。高尔顿和他的学生K.皮尔逊(K.Pearson:18561936)在研究父母身高与其子女身高的遗传问题时，观察了1078对夫妇，并按照父母身高进行了分组，发现：父母身高高的，其子女的平均身高也高；父母身高矮的，其子女的平均身高也矮，但给定父母的身高，儿女辈的平均身高却趋于或者“回归”到全

4、体人口的平均身高的趋势。这一趋势被pearson证实。从而产生了“回归”一词。如下图：,（四）回归的含义,11,（四）回归的含义,1“回归”一词的历史渊源,可以看出：第一：对应于特定身高父母的家庭，其子女身高是一个概率分布。第二：对应于父母身高为60英寸的家庭，其子女的平均身高要高于父母；对应于父母身高为70英寸的家庭，其子女的平均身高要低于父母，但总体上，随着父母身高的增加，子女的平均身高也在增加。,12,1“回归”一词的历史渊源以每对夫妇的平均身高作为x，而取他们的一个成年儿子的身高作为y，将结果在平面直角坐标系上绘成散点图，发现趋势近乎一条直线，这条直线成为回归直线，根据高尔顿的估计，该

5、回归方程为正是因为子代的身高有回到同龄人平均身高的这种趋势，才使人类的身高在一定时间相对稳定，没有出现父辈个子高其子女更高，父辈个子矮其子女更矮的两极分化现象。正是为了描述这种有趣的现象，高尔顿引进了“回归”这个名词来描述父辈身高x与子代身高y的关系,（四）回归的含义,13,2回归的现代释义在现代意义上，回归分析是用来研究一个变量(称之为被解释变量(explainedvariable)或应变量(dependentvariable)与另一个或多个变量(称为解释变量(explanatoryvariable)或自变量(independentvariable)之间的依赖关系。其目的是通过解释变量的给定

6、值来预测被解释变量的平均值或某个特定值。这种一个变量依赖于另一个或几个变量并相随变动的例子在社会生活中有好多。例如支出与收入的关系、失业率与通货膨胀率的关系（菲利普斯曲线）、广告效果（及广告后的销售量）与广告费用、广告媒介、广告密度的关系等（见教材P12-13）。回归分析就是研究这种变量之间相随变动的关系。,（四）回归的含义,14,（四）回归的含义,2回归的现代释义回归分析所要解决的问题：1.确定被解释变量与解释变量之间的回归模型，并根据样本观测值对回归模型中的参数进行估计，给出回归方程；2.对回归方程中的参数和方程本身进行显著性检验；3.评价解释变量对被解释变量的贡献并对其重要性进行识别；4

7、.利用所求得的回归方程，并根据解释变量的给定值对被解释变量进行预测，对解释变量进行控制。,15,二总体回归函数,1总体回归函数（PRF）例：为了研究每周家庭消费支出Y与每周家庭可支配收入X的关系，现从某居民区随机抽取100户家庭，并按照每周家庭人均可支配收入的多少把100户家庭分成10组，如下表所示：根据下表理解：条件分布；条件均值,16,二总体回归函数,1总体回归函数（PRF）,17,二总体回归函数,1总体回归函数（PRF）,18,二总体回归函数,1总体回归函数（PRF）,19,二总体回归函数,1总体回归函数（PRF）,20,总体回归函数（PRF）的概念(PopulationRegressi

8、onFunction)每一个条件均值E(Y/Xi)都是Xi的一个函数(1)其中f(Xi)表示解释变量Xi某个函数(1)称为双变量总体回归函数.它表明在给定Xi下的Y分布的条件均值与Xi有函数关系,二总体回归函数,21,二总体回归函数,2总体回归函数的形式,如果X与Y之间存在线性关系，PRF则为,称以上为一元线性回归方程（对元、线性的理解）,22,对“线性”一词的理解对变量为线性：Y的条件期望值是X的线性函数，如,非线性如：,对参数为线性：Y的条件期望值是各参数的线性函数，如：,非线性如：,本课程研究的“线性”主要针对参数而言，包含两种情况：对参数和变量均为线性；对参数为线性而对变量X则为非线性

9、,23,二总体回归函数,3总体回归模型,总体回归函数说明在给定的收入水平Xi下，该社区家庭平均的消费支出水平。但对某一个别的家庭，其消费支出可能与该平均水平有偏差。,记,称为观察值Yi围绕它的期望值E(Y|Xi)的离差（deviation），是一个不可观测的随机变量，又称为随机干扰项（randomdisturbance）或随机误差项（randomerror）。,24,二总体回归函数,3总体回归模型,个别家庭的消费支出为：,即，给定收入水平Xi,个别家庭的支出可表示为两部分之和:,（1）该收入水平下所有家庭的平均消费支出E(Y|Xi)，称为系统性（systematic）或确定性（determin

10、istic)部分。（2）偏离所有家庭平均消费支出E(Y|Xi)的程度，是其他随机或非确定性（nonsystematic)部分。,(*),25,二总体回归函数,3总体回归模型,（*）式称为总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。由于方程中引入了随机项，成为计量经济学模型，因此也称为总体回归模型。,26,1样本回归函数（SRF）总体回归模型中，两参数是未知的，因此总体回归模型的具体位置是未知的，因此，必须根据抽取的随机样本，依照某种准则对参数进行估计。为了得到两参数的估计量，先从表2.4中随机抽取一个样本，得到以下观测值:,三

11、样本回归函数,27,1样本回归函数（SRF）表：从表2.4中随机抽取的一个样本观测值,三样本回归函数,如果根据以上给出的观测值并根据已定的准则估计出了参数和，记作并记,的估计量,的估计量,28,1样本回归函数（SRF）由代入得：样本回归模型称方程为样本回归函数（SRF）它是总体回归函数的估计。由于样本回归函数中的两参数是根据随机抽取的样本以及给定的估计准则得到的，这就产生了一个问题，即由于抽样的随机性，如果另抽一个样本，完全可以得到另外一组参数估计量。设另一组观测量为下表所示：,三样本回归函数,29,1样本回归函数（SRF）表：从表2.4中随机抽取的一个样本观测值,三样本回归函数,根据这组观测

12、值得到另一组不同于估计量.设由这两组估计量构成的两个样本回归函数分别是SRF1及SRF2，见下图：,30,1样本回归函数（SRF）,三样本回归函数,左图两个样本回归所对应的回归直线，究竟哪个才能代表总体回归函数对对应的回归直线呢，在总体函数未知的情况下，准确的回答这一问题较为困难。但是可以得出：第一，两个样本回归函数都是总体回归函数的估计；第二，在实践中，一般总体回归函数是未知的，Y的观测值只有一组，这样既不可避免产生误差。,31,2总体回归函数与样本回归函数的关系,三样本回归函数,在总体回归模型中，在取得了解释变量与被解释变量的观测值后，可估计出样本回归模型和样本回归函数，即：,样本,32,

13、回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF，其关系如右图为：,即，根据,估计,三样本回归函数,2总体回归函数与样本回归函数的关系,这就要求:设计一方法，构造SRF,以使SRF尽可能接近PRF,33,四、随机误差项,在回归分析中，随机误差项起着关键的作用，这不仅由于随机误差项含有丰富的内容，而且用总体回归模型可知，被解释变量的特性完全由它确定。因此很有必要分析随机误差项的定义及其来源,34,总体回归函数说明在给定的收入水平Xi下，该社区家庭平均的消费支出水平。但对某一个别的家庭，其消费支出可能与该平均水平有偏差。,称为观察值Yi围绕它的期望值E(Y|Xi)的偏差或离差（d

14、eviation），是一个不可观测的随机变量，又称为随机干扰项（stochasticdisturbance）或随机误差项（stochasticerror）。,四、随机误差项,记,1随机误差项的含义,35,这一偏差由于条件期望的未知性以及观测值的随机性，误差项可正可负。但在给定解释变量的情况下，假定其数学期望为零。含义：虽然一次观测器误差项有正有负，但多次重复观测所得到的平均误差为零，即大量的随机干扰因素对被解释变量的总影响由于相互抵消而为零，这也表明，回归直线通过条件钧值。,四、随机误差项,1随机误差项的含义,36,2随机误差项的内容,四、随机误差项,1）被省略而未进入回归方程但又影响被解释变

15、量的因素；2）变量观测值的观测误差的影响；3）变量替代造成的影响；4）模型关系的设定误差的影响；5）随机因素的影响。,37,第二节简单线性回归模型的最小二乘估计,本节基本内容:简单线性回归的基本假定普通最小二乘法OLS回归线的性质参数估计式的统计性质,38,一、简单线性回归的基本假定,1.为什么要作基本假定？模型中有随机扰动，估计的参数是随机变量，只有对随机扰动的分布作出假定，才能确定所估计参数的分布性质，也才可能进行假设检验和区间估计只有具备一定的假定条件，所作出的估计才具有较好的统计性质。,39,（1）对模型和变量的假定如假定解释变量是非随机的，或者虽然是随机的，但与扰动项是不相关的假定解

16、释变量在重复抽样中为固定值假定变量和模型无设定误差,2、基本假定的内容,40,又称高斯假定、古典假定假定1：零均值假定在给定的条件下，的条件期望为零假定2：同方差假定在给定的条件下，的条件方差为某个常数,（2）对随机扰动项的假定,41,假定3：无自相关假定随机扰动项的逐次值互不相关假定4：随机扰动与解释变量不相关,42,假定5：对随机扰动项分布的正态性假定即假定服从均值为零、方差为的正态分布（说明：正态性假定不影响对参数的点估计，但对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时，的分布会趋近于正态分布。所以正态性假定是合理的）,43,的分布性质,由于的分布性质决

17、定了的分布性质。对的一些假定可以等价地表示为对的假定：假定1：零均值假定假定2：同方差假定假定3：无自相关假定假定5：正态性假定,44,OLS的基本思想不同的估计方法可得到不同的样本回归参数和，所估计的也不同。理想的估计方法应使与的差即剩余越小越好因可正可负，所以可以取最小即,二、普通最小二乘法（rdinaryLeastSquares）,45,正规方程和估计式,用克莱姆法则求解得观测值形式的OLS估计式：,取偏导数为0，得正规方程,46,为表达得更简洁，或者用离差形式OLS估计式：注意其中：而且样本回归函数可写为,用离差表现的OLS估计式,47,三、OLS回归线的性质,可以证明：回归线通过样本

18、均值估计值的均值等于实际观测值的均值,48,剩余项的均值为零应变量估计值与剩余项不相关,解释变量与剩余项不相关,49,四、参数估计式的统计性质,(一)参数估计式的评价标准1.无偏性前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值参数估计值的分布称为的抽样分布，密度函数记为如果，称是参数的无偏估计式，否则称是有偏的，其偏倚为（见图1.2）,50,图1.2,51,前提：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式目标：努力寻求其抽样分布具有最小方差的估计式最小方差准则，或称最佳性准则（见图1.3）既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计

19、式。,2.最小方差性,52,53,4.渐近性质（大样本性质）,思想:当样本容量较小时，有时很难找到最佳无偏估计，需要考虑样本扩大后的性质一致性：当样本容量n趋于无穷大时，如果估计式依概率收敛于总体参数的真实值，就称这个估计式是的一致估计式。即或渐近有效性：当样本容量n趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。(见图1.4),54,55,（二）OLS估计式的统计性质,由OLS估计式可以看出由可观测的样本值和唯一表示。因存在抽样波动，OLS估计是随机变量OLS估计式是点估计式,56,1.线性特征是的线性函数,2.无偏特性（证明见教材P37）3.最小方差特性（证明见教材P68附录21）

20、在所有的线性无偏估计中，OLS估计具有最小方差结论：在古典假定条件下,OLS估计式是最佳线性无偏估计式（BLUE）,OLS估计式的统计性质高斯定理,57,第三节拟合优度的度量,本节基本内容:什么是拟合优度总变差的分解可决系数,58,一、什么是拟合优度?,概念：样本回归线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线，拟合的回归线与样本观测值总有偏离。样本回归线对样本观测数据拟合的优劣程度拟合优度拟合优度的度量建立在对总变差分解的基础上,59,二、总变差的分解,分析Y的观测值、估计值与平均值的关系将上式两边平方加总，可证得（TSS）（ESS）（RSS）,60,总变差（TSS）：应变量Y

21、的观测值与其平均值的离差平方和（总平方和）解释了的变差（ESS）：应变量Y的估计值与其平均值的离差平方和（回归平方和）剩余平方和（RSS）：应变量观测值与估计值之差的平方和（未解释的平方和）,61,变差分解的图示,62,三、可决系数,以TSS同除总变差等式两边：或定义：回归平方和（解释了的变差ESS）在总变差（TSS）中所占的比重称为可决系数，用表示:或,63,作用：可决系数越大，说明在总变差中由模型作出了解释的部分占的比重越大，模型拟合优度越好。反之可决系数小，说明模型对样本观测值的拟合程度越差。特点：可决系数取值范围：随抽样波动，样本可决系数是随抽样而变动的随机变量可决系数是非负的统计,可

22、决系数的作用和特点,64,可决系数与相关系数的关系,（1）联系数值上，可决系数等于应变量与解释变量之间简单相关系数的平方:,65,可决系数与相关系数的关系,（2）区别,66,运用可决系数时应注意,可决系数只是说明列入模型的所有解释变量对因变量的联合的影响程度，不说明模型中每个解释变量的影响程度（在多元中）回归的主要目的如果是经济结构分析，不能只追求高的可决系数，而是要得到总体回归系数可信的估计量，可决系数高并不表示每个回归系数都可信任如果建模的目的只是为了预测因变量值，不是为了正确估计回归系数，一般可考虑有较高的可决系数,67,第四节回归系数的区间估计和假设检验,本节基本内容：OLS估计的分布

23、性质回归系数的区间估计回归系数的假设检验,68,问题的提出,为什么要作区间估计？OLS估计只是通过样本得到的点估计，不一定等于真实参数，还需要找到真实参数的可能范围，并说明其可靠性为什么要作假设检验？OLS估计只是用样本估计的结果，是否可靠？是否抽样的偶然结果？还有待统计检验。区间估计和假设检验都是建立在确定参数估计值概率分布性质的基础上。,69,一、OLS估计的分布性质,基本思想是随机变量，必须确定其分布性质才可能进行区间估计和假设检验是服从正态分布的随机变量,决定了也是服从正态分布的随机变量，是的线性函数，决定了也是服从正态分布的随机变量，只要确定的期望和方差，即可确定的分布性质,70,的

24、期望：(无偏估计）的方差和标准误差(标准误差是方差的算术平方根)注意：以上各式中未知，其余均是样本观测值,的期望和方差,71,可以证明（见教材P70附录2.2)的无偏估计为(n-2为自由度,即可自由变化的样本观测值个数),对随机扰动项方差的估计,72,在已知时,将作标准化变换,73,（1）当样本为大样本时，用估计的参数标准误差对作标准化变换，所得Z统计量仍可视为标准正态变量（根据中心极限定理）（2）当样本为小样本时，可用代替，去估计参数的标准误差，用估计的参数标准误差对作标准化变换，所得的t统计量不再服从正态分布（这时分母也是随机变量），而是服从t分布：,当未知时,74,二、回归系数的区间估计

25、,概念：对参数作出的点估计是随机变量，虽然是无偏估计，但还不能说明估计的可靠性和精确性，需要找到包含真实参数的一个范围，并确定这个范围包含参数真实值的可靠程度。在确定参数估计式概率分布性质的基础上，可找到两个正数和（），使得区间包含真实的概率为，即这样的区间称为所估计参数的置信区间。,75,一般情况下,总体方差未知，用无偏估计去代替，由于样本容量较小，统计量t不再服从正态分布，而服从t分布。可用t分布去建立参数估计的置信区间。,回归系数区间估计的方法,76,选定，查t分布表得显著性水平为，自由度为的临界值，则有即,77,三、回归系数的假设检验,1.假设检验的基本思想为什么要作假设检验？所估计的

26、回归系数、和方差都是通过样本估计的，都是随抽样而变动的随机变量，它们是否可靠？是否抽样的偶然结果呢？还需要加以检验。,78,对回归系数假设检验的方式,计量经济学中，主要是针对变量的参数真值是否为零来进行显著性检验的。目的：对简单线性回归，判断解释变量是否是被解释变量的显著影响因素。在一元线性模型中，就是要判断是否对具有显著的线性影响。这就需要进行变量的显著性检验。,79,一般情况下，总体方差未知，只能用去代替，可利用t分布作t检验,给定,查t分布表得如果或者则拒绝原假设,而接受备择假设如果则接受原假设,2.回归系数的检验方法,80,P,81,用P值判断参数的显著性,假设检验的p值：p值是根据既

27、定的样本数据所计算的统计量，拒绝原假设的最小显著性水平。统计分析软件中通常都给出了检验的p值。,82,83,本节主要内容：回归分析结果的报告被解释变量平均值预测被解释变量个别值预测,第五节回归模型预测,84,一、回归分析结果的报告,经过模型的估计、检验，得到一系列重要的数据，为了简明、清晰、规范地表述这些数据，计量经济学通常采用了以下规范化的方式：例如：回归结果为,85,二、被解释变量平均值预测,1.基本思想运用计量经济模型作预测：指利用所估计的样本回归函数，用解释变量的已知值或预测值，对预测期或样本以外的被解释变量数值作出定量的估计。计量经济预测是一种条件预测：条件：模型设定的关系式不变所估

28、计的参数不变解释变量在预测期的取值已作出预测对应变量的预测分为平均值预测和个别值预测对应变量的预测又分为点预测和区间预测,86,预测值、平均值、个别值的相互关系,是真实平均值的点估计,也是对个别值的点估计,个别值,87,2.Y平均值的点预测,将解释变量预测值直接代入估计的方程这样计算的是一个点估计值,88,3.Y平均值的区间预测,基本思想：由于存在抽样波动，预测的平均值不一定等于真实平均值，还需要对作区间估计。为对Y作区间预测，必须确定平均值预测值的抽样分布，必须找出与和都有关的统计量,89,90,91,三、应变量个别值预测,基本思想：既是对平均值的点预测，也是对个别值的点预测由于存在随机扰动

29、的影响，的平均值并不等于的个别值为了对的个别值作区间预测，需要寻找与预测值和个别值有关的统计量，并要明确其概率分布,92,具体作法：,已知剩余项是与预测值及个别值都有关的变量,并且已知服从正态分布，且可证明当用代替时，对标准化的变量t为,93,94,应变量Y区间预测的特点,1、平均值的预测值与真实平均值有误差，主要是受抽样波动影响个别值的预测值与真实个别值的差异,不仅受抽样波动影响，而且还受随机扰动项的影响,95,2、平均值和个别值预测区间都不是常数，是随的变化而变化的3、预测区间上下限与样本容量有关，当样本容量时个别值的预测误差只决定于随机扰动的方差,96,97,第六节案例分析,提出问题：改

30、革开放以来随着中国经济的快速发展，居民的消费水平也不断增长。但全国各地区经济发展速度不同，居民消费水平也有明显差异。为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的计量经济模型去研究。研究范围：全国各省市2002年城市居民家庭平均每人每年消费截面数据模型。,98,理论分析：影响各地区城市居民人均消费支出的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入。从理论上说可支配收入越高，居民消费越多，但边际消费倾向大于0，小于1。建立模型：其中：Y城市居民家庭平均每人每年消费支出(元)X城市居民人均年可支配收入(元),99,数据：从2002年中国统计年鉴中得到,100,（接上页数据表）,101,估计参数,具体操作：使用EViews软件包。估计结果：,假定模型中随机扰动满足基本假定，可用OLS法。,102,表示为,103,1.可决系数：模型整体上拟合好。2.系数显著性