最小二乘估计量

1、2.2 2.2 最小二乘估计量的性质最小二乘估计量的性质 一、最小二乘估计量的性质一、最小二乘估计量的性质二、参数估计量的概率分布及随机干二、参数估计量的概率分布及随机干扰项方差的估计扰项方差的估计 一、最小二乘估计量的性质一、最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方面考察其优劣性： （1）线性性）线性性，即它是否是另一随机变量的线性函数； （2）无偏性）无偏性，即它的均值或期望值是否等于总体的真实值； （3）有效性）有效性，即它是否在所有线性无偏估计量中具有最小方

2、差。（4）渐近无偏性）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一致性）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐近有效性）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。 这三个准则也称作估计量的小样本性质。小样本性质。 拥有这类性质的估计量称为最佳线性无偏估计最佳线性无偏估计量量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的大样本大样本或或渐近性质渐近性质：高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theor

3、em) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。12222()iiiiiiiiiiix yx YYxYYxxxxx证：2 2、无无偏偏性性，即估计量0、1的均值（期望）等于总体回归参数真值0与1 证：证：iiiiiiiiiikXkkXkYk10101)(易知02iiixxk1iiXk故iik111111)()()(iiiiEkkEE同样地，容易得出 0000)()()()(iiiiEwEwEE3 3、有有效效性性（最最小小方方差差性性） ，即在所有线性无偏估计量中，最小二乘估计量0、1具有最小方差。 (1)先求0与1的方差 )var()var()var()va

4、r(21021iiiiiiikXkYk22222iiixxx221020)/1 ()var()var()var(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXn（2）证明最小方差性假设*1是其他估计方法得到的关于1的线性无偏估计量： iiYc*1其中，ci=ki+di，di为不全为零的常数则容易证明)var()var(1*1同理，可证明0的最小二乘估计量0具有最的小方差 普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量最佳

5、线性无偏估计量（best linear unbiased estimator, BLUE） 二、参数估计量的概率分布及随机干扰二、参数估计量的概率分布及随机干扰项方差的估计项方差的估计 1、参数估计量、参数估计量0和和1的概率分布的概率分布 ),(2211ixN),(22200iixnXN22/1ix2220iixnX 1的概率分布：2、随机误差项、随机误差项 的方差的方差 2的估计的估计 由于随机项 i不可观测，只能从 i的估计残差ei i出发，对总体方差进行估计。 2又称为总体方差总体方差。 可以证明可以证明，2的最小二乘估计量最小二乘估计量为222nei22可以证明是的无偏估计量在随机误差项的方差2估计出后，参数0和1的方方差差和标标准准差