一元线性回归的最小二乘估计教学教材

我们的任务是，在给定X和Y的一组观测值(X1,Y1),(X2,Y2),...,(Xn,Yn)的情况下,如何求出Yt=+Xt+ut中和的估计值,使得拟合(nǐhé)的直线为最佳。一元线性回归(huíguī)的最小二乘估计直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳(zuìjiā)”直线，如下图所示。第一页，共22页。*****

et************

YXXt图2

YtYt第二页，共22页。拟合的直线称为拟合的回归线.对于(duìyú)任何数据点(Xt,Yt),此直线将Yt的总值分成两部分。第一部分是Yt的拟合值或预测值：,t=1,2,……,n第二部分，et代表观测点对于(duìyú)回归线的误差，称为拟合或预测的残差（residuals）：t=1,2,……,n即t=1,2,……,n残差第三页，共22页。我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看，也就是(jiùshì)要求估计直线尽可能地靠近各观测点，这意味着应使各残差尽可能地小。要做到这一点，就必须用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平方和，即

如何决定估计值和?

残差平方和第四页，共22页。最小二乘法就是选择(xuǎnzé)一条直线，使其残差平方和达到最小值的方法。即选择(xuǎnzé)和，使得最小二乘法(chéngfǎ)达到(dádào)最小值。第五页，共22页。运用微积分知识，使上式达到(dádào)最小值的必要条件为：

即第六页，共22页。整理(zhěnglǐ)，得：此二式称为正规(zhèngguī)方程。解此二方程，得：.其中(qízhōng)：离差样本均值估计量第七页，共22页。（5）式和（6）式给出了OLS法计算和的公式，和称为线性回归模型Yt=+Xt+ut的参数和的普通(pǔtōng)最小二乘估计量(OLSestimators）。这两个公式可用于任意一组观测值数据，以求出截距和斜率的OLS估计值（estimates)，估计值是从一组具体观测值用公式计算出的数值。一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于CLR模型，普通(pǔtōng)最小二乘估计量正是这样一个好估计量。第八页，共22页。3例子(lìzi)

例1对于第一段中的消费函数，若根据数据得到：

n=10,=23,=20则有因而(yīnér)第九页，共22页。例2设Y和X的5期观测值如下表所示，试估计方程(fāngchéng)Yt=+Xt+ut序号12345Yt1418232530Xt1020304050解：我们采用列表法计算。计算过程如下：第十页，共22页。序号YtXtyt=Yt-xt=Xt-xtytxt211410-8-2016040021820-4-1040100323301000425403103010053050820160400n=5110150003901000表3－1第十一页，共22页。Eviews创建工作文件，输入(shūrù)数据并进行回归：Createu15dataxylsycx第十二页，共22页。第十三页，共22页。第十四页，共22页。第十五页，共22页。第十六页，共22页。第十七页，共22页。第十八页，共22页。对于满足(mǎnzú)统计假设条件(1)--(4)的线性回归模型Yt=+Xt+ut,，普通最小二乘估计量(OLS估计量)是最佳线性无偏估计量（BLUE）。或对于古典线性回归模型（CLR模型）Yt=α+β+Xt，普通最小二乘估计量（OLS估计量）是最佳线性无偏估计量（BLUE）。3.高斯(ɡāosī)--马尔柯夫定理（Gauss--MarkovTheorem）第十九页，共22页。我们已在前面证明了无偏性，此外，由于：

——由上段结果，

=其中

这表明，是诸样本观测值Yt（t=1,2,…,n）的线性函数,故是线性估计量。剩下的就是最佳(zuìjiā)性了，即的方差小于等于β的其他任何线性无偏估计量的方差，我们可以证明这一点，但由于时间关系，从略。有兴趣的同学请参见教科书（P46-47）第二十页，共22页。我们在前面列出的假设条件（5）表明，ut~N(0,2),t=1,2,...,n

即各期扰动(rǎodòng)项服从均值为0、方差为2的正态分布。考虑到假设条件（4），即Xt为非随机量，则由前面结果：=其中，4.和的分布(fēnbù)第