两变量线性回归分析ppt课件

1、第二章 两变量线性回归分析 两变量线性回归模型 参数估计和最小二乘法 最小二乘估计量的性质 回归拟合度评价和决议系数 统计推断 预测两变量线性回归模型 两变量线性回归模型的中心是两个变量之间，存在着用线性函数表示的因果关系 假设用Y表示因果关系中被影响或决议的变量，用X表示影响或决议Y的变量，那么两变量线性回归模型的中心就是线性函数Y=+X，这个线性函数的截距和斜率是两个待定参数，是决议这个特定因果关系或经济规律的关健变数 由于计量分析是的问题导向的，Y应该是与所调查问题最严密相关的目的；解释变量应该根据所研讨问题的详细情况和特征，以及相关的经济实际和研讨阅历等进展判别选择；两个变量关系能否直

2、接用线性函数反映，那么需求利用相关的经济实际和阅历，以及根据变量数据的分布情况进展判别 教材20页图经济变量关系中的随机性一 线性回归分析是以经济变量之间存在线性的因果关系为根底的，但这种因果关系不是严厉意义上的函数关系，一个变量通常不能够被另一个经济变量完全准确地决议 人类经济行为本身有随机性 一个经济变量总是受众多要素的影响，虽然众多要素的单独影响能够较小，甚至可以忽略不计，但这些要素的总体影响是存在的，会对所调查的变量产生明显的影响或扰动，从而使只思索两 个变量之间的函数难以严厉成立 任何函数反映经济变量之间的关系都只是一种简化反映，经常忽略一些高阶项的次要部分，这种简化也会导致变量之间

3、的函数关系不能严厉成立 经济数据来源于调查统计而非控制条件下的严厉实验和测度，因此难免有一定的偏向经济变量关系中的随机性二 影响经济变量严厉函数关系要素的存在，使得我们所研讨的两变量线性关系，实践上都是有一定随机性的随机函数关系，应该表示为Y=+X+ 两个变量的随机线性函数由两部分组成 一部分由严厉的线性函数EY= +X构成，我们称之为两变量关系的趋势部分，也称为总体回归直线，是两变量关系的主要方面，也是我们研讨的主要目的和对象 另一部分是随机误差项，代表了影响Y的各种较小要素的综合影响，是两变量关系中的次要方面模型的假设 变量X和Y之间的函数关系Y=+X+，对两变量的一切察看数据组 i=1,

4、n都成立，其中 为随机误差项 对应每组变量观测数据的误差项 ，都为零均值的随机变量，即 对 i=1,n 都成立 误差项 的方差为常数，即 对i=1,n 都成立 对应不同观测值数据组的误差项不相关，即 对恣意的i j都成立 解释变量X是确定性变量，而非随机变量 误差项 服从正态分布222)(iiiEEENoImage0)()()(jijjiiEEEE),(iiYXii0)(iEii零均值 零均值是线性回归模型最根本的假设，它是两变量线性随机函数的本质特征，是识别这种关系的根本规范 识别变量之间的随机函数关系，只能根据平均情况或概率分布来进展 假设两个变量的关系中确实线性函数是主导的，误差项只是次

5、要的随机扰动要素，那么Y的个别观测会由于随机扰动偏离线性函数规定的根本趋势，但假设对同样的X多次反复观测对应的Y值，那么Y值的概率均值应该能消除随机扰动的影响，符合线性函数的根本趋势 该规范可等价地表示为 对 i=1,n 都成立，也就是被解释变量的期望值一直落在总体回归直线上，是参数估计方法有有效性和良好性质的必要保证iiXYE 26页图2-3同方差 误差项的方差反映误差项作为随机函数的分布分散程度 同方差假设的意义是对于不同观测数据组，误差项的发散趋势一样，或有一样外形的概率密度函数 假设 的方差随i变化而变化，就意味着这部分要素对被解释变量的影响力度会随着i而变化，因此就不能再了解为一些微

6、小的可以忽略的随机扰动要素的影响 同方差假设排除模型误差项对被解释变量影响程度的变化，对保证线性回归分析的性质和价值，有非常重要的作用i 26页图2-4无自相关 无自相关假设的意义是对应不同观测值的误差项之间没有相关性。假设这一点不成立，那么意味着调养项的取值变化存在某种规律性，这与模型以为误差项只是没有规律的微小随机要素的综合影响的思想不符 当误差项之间存在相关性时，会对线性回归分析的效果产生不利的影响 同时满足零均值、同方差、无自相关三条假设的随机误差项，有时也称为“球形扰动项解释变量是确定性变量 解释变量X是确定性变量而不是随机变量的假设，在于方便线性回归分析的讨论和证明；这个假设不成立

7、时，虽然多数情况下参数估计和相关的统计分析依然有效，但证明比较困难 当X既是随机变量又与误差项有强相关性时，回归分析的有效性和价值会遭到严重影响 这条假设有很大的人为性，由于X作为一个经济变量，也是不可反复的调查统计数据，而且也必然有观测误差。由于我们研讨的是X决议Y的因果关系，可以以为X是可以恣意选择确实定性变量，只需Y是随机的 可以证明，只需X与误差项没有多在的相关性，X能否是随机变量普通并不会影响参数估计的性质和相关的统计分析误差项服从正态分布 误差项 服从正态分布是参数估计量分布性质和相关统计推断的根底 实践上只需变量关系确定满足线性回归分析的根本思想，其误差项代表许多微小扰动要素的综

8、合，那么根据中心极限定理，误差项服从正态分布是很自然的 误差项服从正态分布在进展参数估计时并一定需求，除了会对统计检验和推断呵斥一定影响外，也不会影响最小二乘估计量的根本性质，因此有时误差项服从正态分布并不作为线性回归分析模型的根本假设，线性回归分析中的“古典假设中也不包括它 回归模型假设目的是为了明确回归分析的对象，方便分析，以及保证回归分析的性质和价值i参数估计的根本思绪一 虽然设定两变量线性回归模型的前提是置信两变量之间确实存在特定的线性因果关系，模型两个参数和的“真实值是客观存在的 由于我们无法察看到变量关系本身，我们能察看到的只是这种变量关系所产生的结果，即有关的经济景象或经济数据，

9、因此我们不能够知道这些真实值 由于存在随机扰动要素的影响，我们所察看到的结果，不能够准确地反映变量关系中趋势部分确实实情况，也就是参数和的“真实值，随机扰动项给两变量的真实关系提供了一种“掩护，便我们无法发现它的庐山真面目。由于扰动项影响一直存在，因此即使添加观测数据也并不能处理问题参数估计的根本思绪二 由于我们无法知道参数的真实值，因此我们的目的定在找出它的某种近似值或估计值，并且希望估计值与真实值之间的近似程度可以比较高；更进一步的问题是，既然参数的真实值无法知道，那么我们找到一个估计值后，如何认定它是真实值的较好近似，或在两个估计值中，如何判别哪个更好？ 处理这些问题的根本思绪是，利用样

10、本数据反映出来的趋势性设法确定参数估计值，以与样本趋势的拟合程度作为选择回归直线、判别参数估计好坏的规范 用拟合样本趋势的回归直线，或者称“样本回归直线，近似模型的总体回归直线，从而得到模型参数的估计值，这利方法是线性回归分析的根本方法样本趋势的拟合和回归残差一 29页图样本趋势的拟合和回归残差二 建立判别回归直线对样本趋势拟合程度的规范，关健是要利用样本点与回归直线之间的纵向偏向，我们把这种偏向称为“回归残差或者简称“残差 假设样本回归直线为Y=a+bX，那么由于Y和X之间真实关系是随机线性函数关系，因此通常多数样本点 不会落在这条回归直线上，它们与回归直线之间有一段 纵向间隔，也就是残差

11、(i=1,2,n)。 残差越小，阐明回归直线离样本点越近，假设对一切样本点的回归都较小，那么回归直线离一切样本点都较近，对样本趋势的拟合当然就是较好，因此残差是判别回归直线拟合程度的重要目的)(iiibXaYe),(iiYX最小二乘法 最小二乘法的思想是用残差序列的平方和 作为衡量回归直线与样本趋势总体拟合程度的目的 残差平方和可以防止残差正负抵消问题，反映了一切样本点与回归直线偏向的总体程度，在计算估计值的数学运算上比较方便 在两变量线性回归模型的根本假设满足的情况下，最小二乘法得到的参数估计具有许多好的性质，是对参数真实值的良好近似iiiibXaYe22)(最小二乘法iiiiiiiiiii

12、iiiiiiiXXXXYYbXbYa：，YXY、X，XbXaYbebXaYae，babXaYe222222)()(”“0)(2)(0)(2)()(很容易得到两个变量的样本均值和表示并分别用解此方程组正规方程组组称为这两个方程组成的方程得并令其为零求偏导和对最小二乘直线的性质 回归直线经过Y和X的样本均值 估计的Y即 的均值等于Y实现观测值的均值 残差均值为零 残差与解释变量不相关 残差与估计的 不相关YYYyii最小二乘估计量的性质线性性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiXVVXXnVYVYXnYXYnXbYaXXXXYYXXXXXXXX

13、YXXXXYYb0, 1, 1, 01)1(1)()()()()()(2222很容易证明其中其中最小二乘估计量的性质无偏性00 )()(00 )()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiEVXVVVEXVEVEXVEYVEaEEXEXEEXEYEbE最小二乘估计量的性质有效性 证明最小二乘估计具有最小方差性的思绪是，先假设a和b是和的恣意其它线性无偏估计，然后设法证明a和b的方差Vara、Varb，与a和b的方差Vara、Varb之间，满足VaraVara和VarbVarb两个不等式 b是的线性无偏估计， 设b是的线性无偏估计，那么有ii

14、iiiiiiiiiiiiiiiiiiiiiiiiEEbEbEbEbVarEXXYb2222222 )(最小二乘估计量的性质有效性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiivEvvEbEbEbEbVarvvXvvYvb，Xv，v，X，bXvvEvXvvvXvvEXvEbEYvb2222222 10 )( 因此两式同时成立这就要求上式都必须等于的取值如何因此不论的无偏估计是由于最小二乘估计量的性质有效性)( 0)(1)(1)(1)()(1)()()()(2)()(2)()( 222222222222222222222bVarvb

15、Varb，VarXXXXXXXXXXXXXXXXvv，vvvbVarvvvvbVariiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii因此有的性质有定义和根据一致估计 最小二乘估计具有重要的大样本性质：当样本容量不断增大时，最小二乘估计量以参数真实值为极限NoImage00)()(22222的方差趋向于当样本容量越来越大时也就是说时因此当时由于当，b，b，Varn，XX，nXXbVariiiiii一致估计0lim0lim”“”“0lim0011222aP，a，a，bP，bbbP，bPn，bVarnbVarbEbEbP，nnn即的一致

16、估计是及的方差趋向于我们可以证明类似地也可以记为是概率极限的或于依概率收敛这时我们称或者说时因此当时由于有对于任意小的正数夫不等式根据概率论中的切比雪一致估计 最小二乘估计的一致性，阐明在大样本的情况下，最小二乘估计与参数真实值的近似程度会很高 一致性提供了如何逼近参数真实值的思绪，那就是添加样本容量，从更多的样本中得到更多的信息 虽然在对现实问题的实证研讨中，添加样本容量不是很容易的事，但至少存在随着信息添加而不断提高估计准确度的能够性回归拟合度评价和决议系数 回归拟合度或拟合度，是回归直线与样本数据趋势的吻合程度。拟合度取决于回归分析的方法和样本数据的分布 决议样本数据分布情况的，一方面是

17、生成它们的变量关系，另一方面是随机扰动要素的情况。假设随机扰动项比较正常，也就是根本满足模型的假设，那么样本数据分布情况的变化和差别，那么主要是由变量之间的关系决议 变化关系能否符合模型所假设的情况，必然会在样本数据的分布中反映出来，并进而会影响回归直线的拟合程度。因此回归拟合度实践上也是反映模型假设的变量关系真实性的目的，可以作为检验模型变量关系真实性的重要手段回归拟合度评价和决议系数 既然根据模型的根本假设，Y和X之间的线性关系是主要关系，X是以线性方式决议Y的最主要要素，那么Y的离差就应该主要被回归值的离差，或X的离差决议，因此我们可以在回归分析的根底上，用Y的离差被回归值或X的离差决议

18、的程度，作为评价拟合程度的规范 根据最小二乘估计和回归残差的相关公式，Y的离差可以分解为解释的程度越高由回归直线或解释变量个观测值处说明在第后一部分越小大两个部分。前一部分越以及回归残差的离差决定的部分的离差可以分解为由即XY，i，e，XXbXYeXXbeYYYYiiiiii)()(回归拟合度评价和决议系数NoImage称为残差平方和称为回归平方和称为总离差平方和从而容易证明22222222222222)()()()(0)()()(2)()(2)()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiieSSEXXb，SSRYYSSTSSESSReXXbYY，SSTeXXeYY

19、，eXXbeXXbeYYeYYYYSST回归拟合度评价和决议系数性的回归分析中具有可比在不同模型和不同样本因此本值的影响可以避免样本数量和样相对比重指标是一个之间到的数值在决定系数并称之为决定系数记,10)(1)()(12222222，R，YYeYYXXbSSTSSESSTSSRRiiiiiiii统计推断 根据最小二乘估计量的分布性质，对两变量线性回归模型的参数及它们对应的变量关系，作统计推断分析 统计推断分析，对于进一步判别模型假设的变量关系的真实性，以及如何进一步修正模型的思绪，具有非常重要的意义 当我们所分析的线性回归模型与特定的经济实际有内在联络时，本节所提出的一些假设检验，实践上也是

20、检验这些经济实际正确性的重要方法最小二乘估计量的分布性质和规范化 根据最小二乘估计量的性质，在模型假设条件下，模型参数的最小二乘估计量，服从以参数真实值为中心，以误差项方差的一个比例或倍数为方差的正态分布)(1/(,()(1/()(/,()(/22222222iiiiiiiiXXXnNb，XXXn，a，XXNb，XX，b可写成的正态分布方差为服从均值为的最小二乘估计量同样的可写成的正态分布方差为服从均值为的最小二乘估计量如最小二乘估计量的分布性质和规范化 正是由于最小二乘估计量具有以参数真实值为均值的分布性质，使得参数估计量与真实值经过概率分布联络在一同，使我们可以经过参数估计量的分布性质推断

21、参数真实值的情况，并进展相关的统计检验和分析，以进一步确定变量关系或检验相关的实际 我们可以经过变换将b转化为服从规范正态分布的随机变量Zb，a也可以作类似的变换) 1 , 0()(22NXXbZiib误差项方差的估计 误差项的方差2的真实值我们是无法知道的，因此我们只能设法得到它的较好的估计值 i有一个自然的近似，即最小二乘估计的回归残差ei，因此不难想到用残差平方和的均值，作为2的估计量 假设思索到一个好的估计量应该具有无偏估计的性质，就应该对初步思索的估计量作进一步的调查。现实上可以证明，在模型假设成立的条件下，最小二乘残差平方和的数学期望Eei2=(n-2) 2 把S2= ei2/ n

22、-2作为2的估计量，就是具有无偏性的较好的估计量 误差项方差的估计222222222222222)2(2) 1()()(2)()(1)()(2)()()()()()()(nnXXXXXXXXnnXXEXXEEeEXXbXXbXXbYXXYbXaXYYeiiiiiiijjjiijjjiiiiijjjiiiiiiiiiiiii因此因为误差项方差的估计)2()(1)2(2/)(/222222222222222ntXXXnSa，tntt，tnt，SZXXSbtZS，）（ne，ZSiiabbbiibbiiib同理记分布的服务自由度为这个统计量根据统计学的定义方分布平方根之商与一个除以自由度的卡布的统计量

23、相当于一个服从正态分得到的统计量中的代替因此用的随机变量分布卡方分布的服从自由度为因此变量是服从正态分布的随机由于但需要注意未知的问题解决了中的代统计量用参数的置信区间和假设检验 有了最小二乘估计量的分布性质，我们便可以对模型的情况和真实性作进一步的推断分析 推断分析包括两方面内容： 一是参数真实值的能够范围，即所谓的“置信敬意或敬意估计问题 二是对参数的显著性对应变量关系的存在等，以及参数取特定值的能够性等进展检验和分析参数的置信区间参数的置信区间 以置信度为95%，即显著性程度=0.05为例 根据样本容量n和显著性程度=0.05，查t分布临界值表，得到自在度为n-2，显著性程度=0.05的双侧