第2章2一元线性回归模型的参数估计

§2.2一元线性回归模型的参数估计

（教材P33）一、一元线性回归模型的参数估计二、普通最小二乘参数估计量的统计性质三、普通最小二乘参数估计量的概率分布一、一元线性回归模型的参数估计

（教材P33）一元线性回归模型的一般形式是：

i=1，2，…，n在满足如下基本假设【见P30-32，主要是假设2-5】的情况下：(i=1,2,…,n;j=1,2,…,n;i≠j)随机抽取n组样本观测值(Yi,Xi)，i=1,2,…,n，就可以估计模型的参数。模型参数估计的常用方法

模型参数估计的常用方法：普通最小二乘法（OrdinaryLeastSquare,OLS）：最合理的参数估计量应该使得模型能够最好地拟合样本数据，也就是使残差平方和最小。最大似然法（MaximumLikelihood,ML）：最合理的参数估计量应该使得从模型总体中抽到该n组样本观测值的联合概率（也即似然函数）最大。（李子奈P35-36）矩法（Methodof

Moment,MM）：就是用样本矩估计总体矩。（李子奈P36-37）本课程在线性回归模型部分只要求掌握最小二乘法，但在二元离散选择模型部分则无法回避最大似然法。1.普通最小二乘法（OrdinaryLeastSquare,OLS）

给定一组样本观测值（Xi,Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。

对此，普通最小二乘法给出的判断标准是：二者之差的平方和最小，即

iYˆ

样本与总体回归线YiYiiXY10ˆˆˆbb+=ieiiXXYE10)|(bb+=)|(iXYEXiXim解得：正规方程组普通最小二乘参数估计量的离差形式

(deviationform)记则参数估计量可以写成：注：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的离差（deviation)。2.OLS样本回归线的数值性质

(numericalproperties)样本回归线通过Y和X的样本均值；Y估计值的均值等于观测值的均值；残差的均值为0。要求：你应该会证明！并通过证明过程掌握普通最小二乘法的正规方程组和参数估计公式。

当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。高斯—马尔可夫定理(Gauss-Markovtheorem)

在经典线性回归模型的假定下，普通最小二乘参数估计量是具有最小方差的线性无偏估计量。二、普通最小二乘参数估计量的统计性质

(教材P38-40)1.线性：普通最小二乘参数估计量是Yi的线性函数。证：注意这里的一般性文字表述！2.无偏性：普通最小二乘参数估计量的均值等于总体回归参数真值。概率密度偏倚估计值注意这里的一般性文字表述！注意：这里用到了解释变量为非随机变量、以及随机误差项的零均值假设。注意：这里同样用到了解释变量为非随机变量、以及随机误差项的零均值假设。3.有效性：在所有线性无偏估计量中，普通最小二乘参数估计量具有最小方差。估计值概率密度注意这里的一般性文字表述！注意：推导过程中用到了解释变量为非随机变量、以及随机误差项的无序列相关和同方差假定。（2）证明最小方差性(提示:不要求掌握!)

普通最小二乘参数估计量具有线性、无偏性、最小方差性等优良性质。具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（theBestLinearUnbiasedEstimators）。显然，这些优良的性质依赖于对模型的基本假设。4.结论例

利用第二版P28表2.1.3中的家庭可支配收入（X）和消费支出（Y），估计一元线性回归模型，参数估计的计算可通过下面的表2.2.1进行。因此，由该样本估计的回归方程为：

解：提示：本例完全是按定义式计算有关的参数估计量，并不是我们通常做题的步骤。请另见专门的例题。注意：可能是考虑到这里的截距项（反映自发消费）为负，第三版P37的例2.3.1对数据稍微作了调整。例

利用李子奈第三版P28表2.1.3中的家庭可支配收入（X）和消费支出（Y），估计一元线性回归模型，参数估计的计算可通过下面的表2.3.1进行。因此，由该样本估计的回归方程为：

解：下面，给出该例的软件输出结果：例第三版P37-38例2.3.1的Eviews软件运行结果：DependentVariable:YMethod:LeastSquaresDate:03/20/11Time:14:20Sample:110Includedobservations:10VariableCoefficientStd.Errort-StatisticProb.C142.400044.446733.2038350.0125X0.6700000.01918934.915620.0000R-squared0.993481Meandependentvar1582.900AdjustedR-squared0.992666S.D.dependentvar610.5512S.E.ofregression52.28814Akaikeinfocriterion10.92827Sumsquaredresid21872.40Schwarzcriterion10.98879Loglikelihood-52.64136F-statistic1219.101Durbin-Watsonstat1.677411Prob(F-statistic)0.000000建议：利用第三版P37表2.3.1的数据，自己用公式和Eviews软件重算一遍模型。例第三版P37-38例2.3.1的Eviews软件输出结果的含义：被解释变量:Y估计方法:最小二乘法Date:03/20/11Time:14:20样本：

110观测值的个数:10变量回归系数标准差T统计量P值（双侧）C142.400044.446733.2038350.0125X0.6700000.01918934.915620.0000可决系数0.993481被解释变量均值1582.900调整的可决系数0.992666被解释变量标准差610.5512回归方程标准差52.28814赤池信息准则10.92827残差平方和21872.40施瓦兹信息准则10.98879似然函数的对数-52.64136F统计量1219.101DW统计量1.677411F统计量的概率0.000000建议：利用第三版P37表2.3.1的数据，自己用公式和Eviews软件重算一遍模型。三、普通最小二乘参数估计量的概率分布

（教材P41）首先，由于解释变量Xi是确定性变量，随机误差项i是服从正态分布的随机变量，因此，被解释变量Yi也是服从正态分布的随机变量，且其分布（特征）与i相同。定理：若随机变量X和Y相互独立，且X～N(1，12)，Y～N(2，22)，则X+Y～

N(1+2

，12+22

)。因此就一元线性回归而言，随机误差项方差的无偏估计量为：(教材P42)上式的证明过程，参见潘文卿、李子奈《计量经济学学习指南与练习》P15例9。1.用原始数据（观测值）Xi，Yi计算

简捷公式为（《统计学》中有该公式，不要求！）2.用离差形式的数据xi，yi计算其中简捷公式为（常用！）注意，对于一元线性回归：(补充，现已不要求，跳过)上述两个简捷公式是等价的!证明如下：（补充）简介：一元线性回归模型的最大似然估计

最大似然法（MaximumLikelihood,ML），也称最大或然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。

最大似然法的基本原理：（P35）

对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。似然函数对一元线性回归模型：

随机抽取n组样本观测值（Xi,Yi），i=1,2,…n。那么在满足基本假设的条件下，

Yi服从如下正态分布：于是，Yi的概率函数（密度函数）为（i=1,2,…n）

将该似然函数极大化，即可求得到模型参数的极大似然估计量。因为Yi（i=1,2,…n）是相互独立的，所以Y的所有样本观测值的联合概率，也即似然函数(likelihoodfunction)为：

由于似然函数的极大化与似然函数的对数的极大化