第三章双变量回归模型-估计问题

1、1-1计计 量量 经经 济济 学学 基基 础础 与与 应应 用用The Economic School of Jilin UniversityYu ZhenTwo-Variable Regression Model:Problem of Estimationchapter three第三章第三章 双变量回归模型双变量回归模型: :估计问题估计问题1-3第一节第一节 普通最小二乘法普通最小二乘法(OLS)p普通最小二乘法普通最小二乘法由数学家由数学家C. F. Gauss提出提出在回归分析中，有多种构造在回归分析中，有多种构造SRF的方法，而最广泛使用的方法，而最广泛使用的是的是OLS方法方法(

2、method of ordinary least squares)。原因很简单：原因很简单：OLS优良的统计性质使其有效且流行。优良的统计性质使其有效且流行。“Under certain assumptions，the method of least squares has some very attractive statistical properties that have made it one of the most powerful and popular methods of regression analysis.”1-4第一节第一节 普通最小二乘法普通最小二乘法(OLS)p回

3、归分析的主要目的，根据回归分析的主要目的，根据SRF去估计去估计PRFp 残差残差pSRF又是怎样决定的呢又是怎样决定的呢? 准则一：准则一： 该准则合理吗？该准则合理吗？12iiiYXu12iiiYXu12()iiiiiuYXYY()iiiuYY1-5第一节第一节 普通最小二乘法普通最小二乘法(OLS)1-6第一节第一节 普通最小二乘法普通最小二乘法(OLS) 准则二：最小二乘法则准则二：最小二乘法则 杜绝了残差杜绝了残差 在在SRF周围散布很宽，总和却很小的可能周围散布很宽，总和却很小的可能 故只需对故只需对 求导，并令其等于零，便可解求导，并令其等于零，便可解出出 。22i212()()

4、iiiiuYYYX=iu212i(,)uf 12、12、1-7最小二乘法的数学原理最小二乘法的数学原理将所有纵向距离平方后相加，即得误差平方和，将所有纵向距离平方后相加，即得误差平方和，“最好最好”直线就是使误差平方和最小的直线，直线就是使误差平方和最小的直线，即拟合直线在总体上最接近实际观测点。即拟合直线在总体上最接近实际观测点。于是可以运用求极值的原理，将求最好拟合直于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。线问题转换为求误差平方和最小的问题。1-8求求 解解22212i2212i21212122()()minmin()20(1)20(2)iiiiiiii

5、iiiiiuYYYXuYXYXYXXuu =1-9正规方程正规方程(normal equations)及其解及其解12212iiiiiiYnXY XXX2222212()()()()iiiiiiiiiiiinX YXYXXYYx ynXXXXxYX 其中，其中， 和和 是是X 和和Y 的样本均值的样本均值， 和和 表示变量对均值的离差。表示变量对均值的离差。 上面的估计量由于从最小二乘原理演算而来，因此也称作上面的估计量由于从最小二乘原理演算而来，因此也称作最小二乘估计量。最小二乘估计量。XY()iixXX()iiyYY1-10OLS估计量的数值性质估计量的数值性质p易计算性易计算性 OLS估

6、计量是纯粹由可观测的估计量是纯粹由可观测的(即样本即样本)量表达的，因此量表达的，因此这些量是容易计算的。这些量是容易计算的。p点估计量点估计量 即对于给定的样本，每一估计量仅提供有关总体参数的即对于给定的样本，每一估计量仅提供有关总体参数的一个一个(点点)值值 p一旦从样本数据得到一旦从样本数据得到OLS估计值，便容易画出样本回归线。估计值，便容易画出样本回归线。p该回归线有如下性质：该回归线有如下性质： 它通过它通过Y和和X的样本均值；的样本均值； 估计的估计的Y均值等于实测的均值等于实测的Y均值；均值； 残差估计量的均值为残差估计量的均值为0； 残差估计量和预测的残差估计量和预测的Y值不

7、相关；值不相关； 残差估计量和残差估计量和X不相关。不相关。12YXYY1220iiYX1-11第二节第二节 古典线性回归模型：古典线性回归模型：OLS的基本假定的基本假定p统计推断的两个部分：参数估计和假设检验统计推断的两个部分：参数估计和假设检验。p如果我们的目的仅仅是模型参数，则第一节所用如果我们的目的仅仅是模型参数，则第一节所用的方法就足够了，但我们的目的不仅仅是获得参的方法就足够了，但我们的目的不仅仅是获得参数估计值，而且要对真实的贝塔系数作出推断。数估计值，而且要对真实的贝塔系数作出推断。pPRF:p对解释变量和误差作出假定是必要的。对解释变量和误差作出假定是必要的。 古典线性回归

8、模型古典线性回归模型（classical linear regression model, CLRM），又称高斯），又称高斯(Gaussian)或标准或标准(standard)线性回归模型。线性回归模型。12iiiYXu1-12CLRM的基本假设的基本假设p假定假定1：线性回归模型：线性回归模型 模型模型 对参数而言是线性的对参数而言是线性的p假定假定2： X是非随机的是非随机的 在重复抽样中，在重复抽样中，X 值是固定的。条件回归分析。值是固定的。条件回归分析。p假定假定3：扰动项：扰动项 的均值为零的均值为零。()0iiE uX12iiiYXuiu1-13CLRM的基本假设的基本假设iu模

9、型中不显模型中不显含而体现在含而体现在扰动项扰动项ui 中中的因素，对的因素，对于于Y的均值没的均值没有系统影响。有系统影响。正的正的ui 值抵值抵消了负的消了负的ui 值，平均影值，平均影响为零。响为零。1-14CLRM的基本假设的基本假设p假定假定4：同方差性，即：同方差性，即 的方差相等的方差相等 p注意几个术语注意几个术语 同方差性同方差性(homoscedasticity) 异方差性异方差性(heteroscedasticity)222var(|)( )|(|)iiiiiiiuXE uE uXE uXiuvar(|)iiiuX意味着意味着Yi 的条件方的条件方差也是同差也是同方差的方

10、差的1-15CLRM的基本假设的基本假设1-16CLRM的基本假设的基本假设1-17CLRM的基本假设的基本假设p假定假定5：扰动项无序列相关：扰动项无序列相关(serial correlation)或自或自相关相关(auto correlation)cov( ,)()() 0ijijiiijjju u X XE uE u XuE u X1-18CLRM的基本假设的基本假设p假定假定6：ui 和和Xi 的协方差为零，或的协方差为零，或p假定假定7：观测次数：观测次数n必须大于待估参数的个数必须大于待估参数的个数p假定假定8：X 的值要有变异性的值要有变异性p假定假定9：正确地设定了模型：正确地

11、设定了模型p假定假定10：无多重共线性（：无多重共线性（多元回归模型再讨论多元回归模型再讨论） 解释变量之间没有完全的线性关系。解释变量之间没有完全的线性关系。cov( ,)()() 0iiiiiiiu XE uE u XXE X()0iiE u X1-19CLRM可信吗？可信吗？p计量经济学中的计量经济学中的CLRM相当于微观经济学中相当于微观经济学中的完全竞争模型的完全竞争模型。1-20第三节第三节 OLS 估计的精度估计的精度pOLS估计量随样本的变动而变动，估计量精度估计量随样本的变动而变动，估计量精度(precision)由估计量的标准误差由估计量的标准误差(standard err

12、or, se)来衡量。来衡量。222222212212var()()var()()iiiiiixsexXnxXsenx1-21第三节第三节 OLS 估计的精度估计的精度p 的估计的估计 是真实但未知的是真实但未知的 的的OLS估计量估计量 n-2 是被称为自由度是被称为自由度(degrees of freedom, df)的个数的个数 则表示残差平方和则表示残差平方和(residual sum of squares, RSS)2222iun222iu1-22第四节第四节 OLS的性质：高斯的性质：高斯-马尔科夫定理马尔科夫定理p高斯高斯-马尔可夫定理马尔可夫定理(GaussMarkov the

13、orem)： 在给定经典线性回归模型的假定下，在给定经典线性回归模型的假定下，OLS估计量，在无估计量，在无偏线性估计量中，有最小方差，即偏线性估计量中，有最小方差，即OLS估计量是最优线估计量是最优线性无偏估计量（性无偏估计量（best linear unbiased estimator, BLUE）。）。pBLUE 1 1、线性、线性: :指的是参数估计量是被解释变量的线性函数。指的是参数估计量是被解释变量的线性函数。 2 2、无偏性、无偏性: :参数估计量的均值（数学期望）等于被估计参数估计量的均值（数学期望）等于被估计的真值，即的真值，即 3 3、有效性（最小方差性）：、有效性（最小方

14、差性）：在所有上述线性无偏估计在所有上述线性无偏估计量中具有最小方差量中具有最小方差 1122,EE1-23第五节第五节 拟合优度的度量：判定系数拟合优度的度量：判定系数 r2p拟合优度拟合优度( (goodness of fit) )是指样本回归线与样本是指样本回归线与样本观测值之间的拟合程度。观测值之间的拟合程度。p判定系数判定系数r2 (Coefficient of determination)或或R2 就就是衡量样本回归线对数据拟合程度的总度量。是衡量样本回归线对数据拟合程度的总度量。p如何计算呢？如何计算呢？1-24恒等式变换恒等式变换把该式进行恒等式变换：把该式进行恒等式变换：（

15、的变异）的变异） （由（由 变异所解释的部分）（未解释部分）变异所解释的部分）（未解释部分）用小写字母写成与均值的离差形式：用小写字母写成与均值的离差形式：两边平方并求和：两边平方并求和：iiiYYu()()()iiiiYYYYYYiYXiiiyyu1-25平方和分解平方和分解总平方和（TSS） ：22)(YYyii=实测的 Y 值围绕其均值的总变异；解释平方和（ESS） ：22)(YYyii=估计的 Y 值围绕其均值的总变异；这个变异是由解释变量的变化所引起的。残差平方和（RSS） ：22)(iiiYYu=未被解释的围绕回归线的 Y 值的变异。p TSS=ESS+RSS1-26YYiiYY O Xi Xiu =来自残差(YiY)=总离差(iY-Y)=来自回归SRF：1+2iX1-27判定系数判定系数p判定系数判定系数r r2 测度了在测度了在Y Y 的总变异的总变异( (variation) )中由回中由回归模型解释的那部分所占的比例。归模型解释的那部分所占的比例。 r2非负非负 22222()()iiiiyYYESSrTSSyYY22211iiuRSSrTSSy 201r1-28一个知识点：判定系数一个