一元线性回归模型及参数估计

一元线性回归模型及其参数估计一、一元线性回归模型的参数估计二、最小二乘参数估计量的统计性质三、最小二乘参数估计量的概率分布2021/6/271一、一元线性回归模型的参数估计2021/6/272一元线性回归模型的一般形式

一元线性回归模型的一般形式是：

iiXiYmbb++=10

i=1，2，…，n

在满足基本假设：

====0),(0),(2)(0)(iixCovjiCoviVariEmmmmsmm

i=1,2,…,nj=1,2,…,ni≠j

的情况下，随机抽取n组样本观测值iXiY,（i=1,2,…n），就可以估计模型的参数。

同方差期望或均方值协方差2021/6/273模型参数估计的任务

模型参数估计的任务为两项：

一是求得反映变量之间数量关系的结构参数的估计量，在一元线性回归模型即是参数和的估计量；b0b1二是求得随机误差项的分布参数，由于随机误差项的均值已经被假定为0，所以所要求的分布参数只有方差。2ms2021/6/2741、普通最小二乘法

（OrdinaryLeastSquare,OLS）

给定一组样本观测值（Xi,Yi），i=1,2,…n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。

最小二乘法给出的判断标准是：二者之差的平方和最小，即2021/6/275由于2)ˆ1(iYniYQ-=å=2))1ˆ0ˆ(1(iXniYbb+-å是$b0、$b1的二次函数，并且非负，所以其极小值总是存在的。根据极值存在的条件，当Q对$b0、$b1的一阶偏导数为0时，Q达到最小。即

001ˆ0ˆ==ïïîïïíìb¶¶b¶¶QQÞîíì=-+=-+åå0)1ˆ0ˆ(0)1ˆ0ˆ(iXiYiXiYiXbbbbÞïîïíìS+S=SS+=S21ˆ0ˆ1ˆ0ˆiXiXiXiYiXniYbbbb

2021/6/276解得：

ïîïíì10-=ˆˆXYbbS-SSS-S=2)(21ˆiXiXniXiYiXiYnb

由于0ˆb、1ˆb的估计结果是从最小二乘原理得到的，故称为最小二乘估计量(least-squaresestimators)。2021/6/277最小二乘参数估计量的离差形式

(deviationform)注：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的离差（deviation)。记ïïïîïïïíì-=-===ååYiYiyXiXixiYnYiXnX11

，

则参数估计量可以写成：ïîïíì=-=åå21ˆ1ˆ0ˆixiyixXYbbb

2021/6/278随机误差项方差的估计量

记iYiYieˆ-=

为第i个样本观测点的残差，即被解释变量的估计值与观测值之差，则随机误差项方差的估计量为：2021/6/2791.用原始数据（观测值）Xi，Yi计算

简捷公式为2.用离差形式的数据xi，yi计算其中简捷公式为2021/6/2710

2、最大似然法（MaximumLikelihood,ML）

最大或然法，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。

基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。2021/6/27112021/6/2712

将该或然函数极大化，即可求得到模型参数的极大或然估计量。2021/6/2713

由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：2021/6/2714

可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。2021/6/2715但是，随机误差项的方差的估计量是不同的。2021/6/27163、样本回归线的数值性质(numericalproperties)样本回归线通过Y和X的样本均值；Y估计值的均值等于观测值的均值；残差的均值为0。2021/6/2717二、最小二乘参数估计量的统计性质

高斯-马尔可夫定理2021/6/2718

当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。高斯—马尔可夫定理(Gauss-Markovtheorem)

在给定经典线性回归的假定下，最小二乘参数估计量是具有最小方差的线性无偏估计量。2021/6/27191、线性性：最小二乘参数估计量是Y的线性函数。2021/6/27202、无偏性：最小二乘参数估计量的均值等于总体回归参数真值。2021/6/27212021/6/27223、有效性：在所有线性无偏估计量中，最小二乘参数估计量具有最小方差。2021/6/27232021/6/2724（2）证明最小方差性2021/6/27252021/6/27262021/6/27274、结论

普通最小二乘参数估计量具有线性性、无偏性、最小方差性等优良性质。具有这些优良性质的估计量又称为最佳线性无偏估计量，即BLUE估计量（theBestLinearUnbiasedEstimators）。显然这些优良的性质依赖于对模型的基本假设。2021/6/2728三、最小二乘参数估计量的概率分布2021/6/27292021/6/27302021/6