最小二乘估计量的性质

1、第三节最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性一、线性特性的含义线性特性是指参数估计值和B分别是观测值Y或者是扰动项日的 12tt线性组合，或者叫线性函数，也可以称之为可以用Yt或者是四,来表示。1、B的线性特征证明2（1）由E的计算公式可得：2需要指出的是，这里用到了因为土不全为零，可设b ，从而，b不全为零，故日=ZbY。这说明（3是Y的线性组 t Z x 2t2t t2 tt合。（2）因为k = 3+3 x +日，所以有t 12 t t这说明B2是四t的线性组合。需要指出的是，这里用到了Z b =寻=浏=0以及t Z X2 Z X22、E的线性特征证明1（1）因为b =

2、 y-B X，所以有12这里，令a = -Xb，则有=ZaY n1这说明（31是Y的线性组合。（2）因为回归模型为y = 3+3 X +日，所以12 t t因为 Za=z n - Xbj=z n - x z b=i。而所以，B =B +Za日 11t t这说明R是H t的线性组合。至此，参数的线性特性证明完毕。问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、 随机扰动项和的随机性来理解。二、无偏性的含义所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数估计值和E的期望值分别等于总体参数3和3。其数学上要求是1212E G ）=p 和 E 6 ）=p1122证明：根据参数估

3、计值的线性特征，我们推导出：B =8 +Z a H，所以有：11t t相似地，8 =8 +Zb H，所以有22t t三、最优性（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值和b在各种线性无偏12估计中得到的方差最小。根据上述的定义，我们可以任意假设日是用其他方法得到的总体参数 2E的一个线性无偏估计。2因为扁具有线性特性，我们可以得到：2（3 *=Z c Y =Z c（8+8 X +H）2t tt 12 t tE *)= E(ScY) = E(Sc (p +p X +p )2t tt 12 t t=ScE(P +P X +p )=SC p+ S c E (p X

4、t )+ScEj) t1t 2 tt t=p Sc +Sc P E(X )+ 0=p1 S ct+p2 S ；x又因为B*是用其他方法得到的总体参数日的一个无偏估计，所以有 22所以由上述两个结果，可以得到： 上述式子要成立，必须同时满足两个条件，即Sc广 0 和 SctX=1现在求p*的方差：2varG)= var(ScY )= ESc Y -E(ScY 力22t tt tt tt 一2 = Et tt t土 *2cY -E(ScY )12 = ErSct 一2 = Et tt t土 *2cY -Sc Y一=E=E日 + c |Ll + + c |Ll )1 12 2t t=E=S c 2

5、E (四 2 )+SS c 目 E (叩)ttt s t s+ - +(c L L(c L c L + c L c L =E=S c 2 E (四 2 )+SS c 目 E (叩)ttt s t s因为根据假设条件（常数方差和非自相关，即 var（旦）=E（旦-E（旦）2 = E （ 2 ）=6 和所以，有S方差的最后一项为 2这是因为Sc = 0和Sc X = 1因此，有var6*）=b2S（c -b +b2Sb2 2ut tu t很明显，当c = b时，p*方差最小，此时，最小值为var&*）=b2Sb2。t t22u t而在此时，有B * =S c Y =S b Y =B 2t tt t

6、 2即两个估计值相等。因为*的最小方差等于B的方差，即var G*） var G ），因此，我们说， 2222（3在所有线性无偏估计中的方差最小，且最小方差为： 2同理，我们可以证明，日在所有线性无偏估计中的方差最小，且参数1估计值的方差为：var G ）=”U X；）1n 乙 x 2t 。由此，说明，最小 二乘估计具有BLUE（best linear unbiased estimation）性质。从而在统计学和计量经济学中得到广泛应用。第四节系数的显着性检验一、系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是Y和七的线 性组合。又因为y和四,都服从正态分布，所以，我们可以

7、自然得到两 点：一是系数估计值是随机变量（这里是在数学上再次予以证明）； 二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特 征来表示。通常，我们采用的是均值与方差。系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，e ）=3，E（3 ）=3。1122这说明系数估计值31和32这两个随机变量的数学期望（均值）分别等 于总体参数（实际值）。系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有var(p )=”UX；)var(3 )=b2Zb2 =以1n 乙 x 22 u t 乙 x 2t ，t 。至此，我们可以用随机变量的数学期望和方差来刻画p

8、和日这12nj)两个随机变量的分布，即有：p八服从均值为p、方差为b: Zx；的11n 乙 x 2t正态分布；而&2服从均值为P 2、方差为正态分布；而&2服从均值为P 2、方差为d,1Itt可以描述为：N p11可以描述为：N p11、2K)可以明显看出的是，在系数的描述中，方差中含有随机扰动项的 方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项， 无法得到，只能对其估计。二、随机误差项方差的估计因为总体回归模型为：y .p+p x +日 t 12 t t而样本回归模型为：y = B +B X + e t 12 t t从形式上看，样本回归模型中的残差e可以看作随机扰动项t口的估计值

9、。进一步，残差e的方差可以作为随机扰动项口的ttt方差b 2的估计值。uy = B +B X + e t 1 2 t tYy = B +B X + e t 1 2 t tY =B +(3 X t 1 2 t样本回归直线为:样本回归模型的左右两边减去样本回归直线的左右两边，可得:y -Y =e，把这个式子重新安排一下，可以得到：t t t现在，重点要求的是e的两个部分，即Y -y)和 (y -y)。这两部分知道之后，才能求的方差。t对样本回归模型y = B +B X + 两边分别对t求和，再除以n, t 12 t t有：由前边的正规方程组，我们曾经知道，点（X, y ）在样本回归直线上，用数学的

10、语言来讲，就有：y = B +BX，因此，有125 + ,，进而，有 Y =。+。X12对总体回归模型y = p +p x +四两边分别对t求和，再除以n, t 12 t t有：Y=6 + 6 x +旦所以，由J 12_t _ t，可得，Y = 61 + 62 X + 口将两部分结合起来，现在，我们可以得到：可以得到： =G _6 ）尤+口），（从这个式子我们可以看出 t22 t t什么呢？）至此，已经将残差与扰动项联系起来了。由此，我们可以得到：进一步，有：在这三项当中，有：所以，第一项为E X2E G2 62 ） =X2 .- =b2t第二项为：第三项为：故有EG ;）=% +（ 1巧2

11、= （n 2也就是说如令S2 =工，则意味着E（S2）=。2。这说明s 2是q的无偏估 （n 2）RR计量。前面，我们已经求得。在p和pp的方差中都含12。在p和pp的方差中都含12101，X10 TOC o 1-5 h z It 7日这样，代入得到pp和b的12有未知量日这样，代入得到pp和b的12可以用s2 =E e作为q2的估计值(n - 2)日方差的估计值分别为：S 2 = S 2g X；和 S 2 =SP1 n 乙 x 2P2 E x 2分别称为回归模型的标准差、参数tt分别称为回归模型的标准差、参数s=底，s. yspr，s.=店估计值p和p的标准差。212知道了估计值的方差估计值

12、，就可以对参数进行显着性检 验，也可以估计总体参数的置信区间。二参数估计的显着性检验以上一节家庭消费支出和收入之间的关系的例子来说明，通过选取样本，我们得到了总体参数P和口 P 2的估计值分别为P和P。通过这个估计值，我们知道了家庭消费支出和 12收入的具体数量关系。现在，需要知道的是，通过样本得到 的估计值能够正确地反映总体参数吗？这需要通过假设检 验来做出判断。1、关于假设检验假设检验指利用样本得到的信息来判断总体是否具有 某种制定的特征。例如：某药品生产线上规定，每片药片的 净重是400毫克，标准差是4毫克。今连续检查20片药片，平均药片重量为395.4毫克。问药片的重量是否已经偏离了额

13、定净重值？假设：对总体分布特征的假设假设检验：根据样本信息来判断总体分布是否具有指定 的特征，这个过程叫假设检验。就家庭消费支出而言，我们关注的是家庭消费支出与收 入之间是否真的存在回归关系，也就是说我们关注总体参数 31和3 2是否不等于零。因此，我们这里的假设是对总体参数 的假设，我们这里的检验是对总体参数的假设检验，我们要 运用的假设检验的工具是用样本工具得到的与和有关的12检验的工具。这就是用样本信息来推断总体。1、对总体均值的假设检验因为我们关注的是解释变量和被解释变量之间的关系 是否真实存在，因此，我们需要检验的是总体均值是否为零。 对总体均值的假设检验可分三种情况：（1）总体服从

14、正态分布，总体方差已知，样本大小无限制（2）总体总体分布未知，总体方差未知，大样本（3）总体服从正态分布，总体方差未知，小样本我们这里符合的是总体服从正态分布，总体方差未知， 小样本。2、用什么来检验？（检验工具，统计量）我们已经知道，参数估计值满足：.(b2(X2)1 U 1， n乙 X2Vt 710/ 、J22, L X2 kt.要尽可能利用关于b和b TOC o 1-5 h z 的信息。将B和B由正态分布转化为标准正态分布统计量： 1“2在这两统计量中，varG）编varG）我们都不知道，原因在于12g未知。但我们前边已经证明乙产是。2的无偏估计量。u（n - 2） u因此，对于大样本情

15、况，我们可以用集=5代替,进而 （ 一 2）u这样，z= B 一求得 varQ） var）以及 S.=S. =Jg这样，z= B 一日（01）和2 = 日（01）和2 =为：Z 盘1 1 N（01）和 Z 就 2 2 N（01）。55Ap2从而可以利用这两个统计量对总体参数p和p进行检验。（什如何检验12如何检验么含义）就是说，我们可以对比如 =以进行检验。2呢？就是考察我们算出来的统计量z=M%=y是否服从Pr2正态分布。对于一元线性回归模型而言，我们关心的是解释 变量能否解释被解释变量，在数学上这表现为p *是否成2立。因此，我们可以进行下假设:零假设 h :p =0 02备择假设 H .

16、012在零假设条件下，z “M%=匕服从标准正态分布，我们用在零假设条件下，2这个统计量进行检验。在一般情况下，样本容量不满足大样本条件，这时要用t统计量，所做的检验称之为t分布检验。这时t统计量为:t =% -2 =3 t =% -2 =3 =2S 2S 2 : S 2 TOC o 1-5 h z 6262*2关于t分布t分布的含义是随机变量落入一定区域的概率。给定显 着性水平以和自由度(n-2),则t落入区间(-t (n - 2), t (n - 2)a 2a 2内的概率为：P Lt . (n 一 2) t t ； (n - 2)=a，此式子等价于尸 t (n P !|t| t ； (n

17、- 2)22Pl t 2(n-2)，则可以认为备择假设成立，即6技0。因此，我们通常的希望是t统计量值大于临界值。t统计量 值我们可以根据样本计算出来，而临界值可以通过查表得到。问题：t值与P值的关系是什么？相应地，我们可以对总体参数值p进行检验。过程为：i零假设为：H0: Pi = 0备择假设为：Hi： P2丰0 人计算统计量t=七JS 2查t分布表，得出临界值t（-2）。接受备择假设，即认为p技。a 2-），则拒绝零假设，a 2若14a 2-），则拒绝零假设，a 2若14顷-2）三、总体参数的置信区间1、p的置信区间 1由 P L （n - 2） t 2.15落在了 H。的拒绝域，所以 结

18、论是?不为零。|输出格式的最下部分给出了评价估计的回归函数的若干个统计量的值。依 纵向顺序，这些统计量依次是可决系数R2、调整的可决系数R2 （第3章介绍）、回归函数 的标准差（s.e.，即均方误差的算术根6）、残差平方和、对数极大似然函数值（第10章介 绍）、DW统计量的值（第6章介绍）、被解释变量的平均数（亍）、被解释变量的标准差（s（七）、 赤池（Akaike）信息准则（是一个选择变量最优滞后期的统计量X施瓦茨（Schwatz）准则（是一个选择变量最优滞后期的统计量）、F统计量（第3章介绍）的值以及F统计量取值 大于该值的概率。根据EViews输出结果（图2.15），写出OLS估计式如下：y t = -0.7629 + 0.4043 气（2.64）（-0.6）（12.1）R2 = 0.91, s. e. = 2.04其中括号内数字是相应t统计量的值。s.e.是回归函数的标准误差，即S = tU12.；（16 2）。 R2是可决系数。R 2 = 0.91说明上式的拟合情况较好。匕变差的91%由变量孔解释。检验回 归