最小二乘估计量性质

1、实用标准文案第三节最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指 参数估计值Z和Z分别是观测值Yt或者是扰动项t的 线性组合，或者叫线性函数，也可以称之为可以用X或者是t来表示。 1、2的线性特征证明(1)由？2的计算公式可得：?xtytXt(Yt Y)XtYt Y xt2222XtXtXtXtYtXt22 YtXtXt需要指出的是，这里用到了1Xt(Xt X) Xt- XtnXt Xt 0因为Xt不全为零，可设bt 3,从而，bt不全为零，故?2btYto这说明马是Yt的线性组Xt合。因为Yt i 2% t,所以有2btYtbt 1 2Xt t1

2、 bt 2 btXt bt t2 h t这说明？2是t的线性组合。需要指出的是，这里用到了文档实用标准文案btXt2XtXt-2Xt0以及Xt2XtXtxt xt X2Xt2XtxtX2Xt2 Xt"1XtX Xt-2Xt2、Z的线性特征证明(1)因为？ Y ?2X，所以有1 Y2X1Y XbtYtnYt这里，令aaYt这说明？是Yt的线性组合。(2)因为回归模型为丫2Xtt,所以因为atYtatat1atXt2XtattatX1btatXtXbt XtXt XbtXt所以,at t这说明?是t的线性组合。至此，参数的线性特性证明完毕。文档实用标准文案问题参数估计值线性特性的深层次含

3、义是什么？要根据被解释变量、 随机扰动项和的随机性来理解。无偏性的含义所谓无偏性是指估计值的均值等于真实值。 在这里，无偏性是指参数估计值1和2的期望值分别等于总体参数1和2。其数学上要求是E ?1ffi E ?22。证明：根据参数估计值的线性特征，我们推导出:at所以有:att E i Eat tat ti E at ?E tbt相似地,E 2 Ebt t三、最优性bt t2 E bt ?E t（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值和马在各种线性无偏I III I HB I I I I估计中得到的方差最小。根据上述的定义，我们可以任意假设？2是用其他方

4、法得到的总体参数2的一个线性无偏估计。因为？2具有线性特性，我们可以得到:2ctYtcti2Xtt文档ct12XttctEt实用标准文案E?2ECtY t Ect E12Xt tct 1ct E2Xt1ctct 2E Xt 01ct2ctXt又因为？2是用其他方法得到的总体参数 马的一个无偏估计，所以有所以由上述两个结果，可以得到：1 ct 2 ctXt 2上述式子要成立，必须同时满足两个条件，即ct 0和 ctXt 1现在求？2的方差：var ?2varctYtE2EctYt E 1丫EctYtctY? 2 E2Ect tE G 1 c222Ec1 1c2 222c2E t2ct sE2ct

5、Yt EctYt2EctYtctE Ytct Yt Y? 222ct t2ct tc1 1c2 2 c1 1c3 3t sc2 2c3 3c2 2c4 4s) 02ctbtbt2 ubt ctbt因为根据假设条件(常数方差和非自相关，即var( t) E( t E( t)2 E ；：和cov( t, s) E ( t E( t)( s E( s)E ( t 0)( s 0) E( t所以，有?222var 2u ctu2222uct btu bt文档实用标准文案?2方差的最后一项为bt CtbtXt2 XtbtCtbt22Xt2Xt12 Xt-(Xt12 Xt0ctxtCt XtCt Xt1)

6、Ct这是因为CtctXt1因此，有?2var -2u222Ctbtubt很明显，当Ctbt时,?2方差最小，此时，最小值为var 722bt2。而在此时，有？2CtYtbtYt2即两个估计值相等。因为？2的最小方差等于2的方差，即var ?2var ?2 ,因此，我们说,?在所有线性无偏估计中的方差最小，且最小方差为:2?22 uvar g ubt 2Xt同理，我们可以证明，？在所有线性无偏估计中的方差最小，且参数 估计值的方差为：?2Xt2var -1 2-n Xt o由此，说明，最小二乘估计具有 BLUE(best linear unbiasedestimation)性质。从而在统计学和计

7、量经济学中得到广泛应用。文档实用标准文案第四节系数的显著性检验一、系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是Yt和t的线性组合。又因为Yt和t都服从正态分布，所以，我们可以自然得到两 点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特 征来表示。通常，我们采用的是均值与方差。系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，E ?i1, E N 2。、一 ？一 ?、这说明系数估计值1和立这两个随机变量的数学期望（均值）分别等 于总体参数（实际值）。系数估计值的方差又是多少呢?根据系数估计值

8、的最小方差性的证明，2 X2? U 八192.2var 1 2var > u btn xt我们得到了其方差，即有2u2XO至此，我们可以用随机变量的数学期望和方差来刻画两个随机变量的分布，即有:?1服从均值为i、方差为2X2uXt乙乙-的nxt2正态分布；而2服从均值为2、方差为 T 的分布。用数学的语言XtX,2一和 2 : NXt2U2,2°Xt2可以描述为：？： N 1 n可以明显看出的是，在系数的描述中，方差中含有随机扰动项的文档实用标准文案方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。二、随机误差项方差的估计因为总体回归模型为：Y

9、t i 2Xt t而样本回归模型为：Y ? NXt et从形式上看，样本回归模型中的残差et可以看作随机扰动项t的估计值。进一步，残差et的方差可以作为随机扰动项t的方差：的估计值。样本回归模型为：Y ? ?2Xt et样本回归直线为：Y? ? ?2Xt样本回归模型的左右两边减去样本回归直线的左右两边，可得：Yt Y? et,把这个式子重新安排一下，可以得到： et Y Y? Y Y Y? Y现在，重点要求的是et的两个部分，即 Y? Y和丫 Y。这两 部分知道之后，才能求，的方差。对样本回归模型Y Z马Xt 0两边分别对t求和，再除以n,有：文档实用标准文案1 n1 n Yi1n1 n?2X

10、et2XtetnXt -etn由前边的正规方程组,我们曾经知道,占八、线上,用数学的语言来讲，就有:? x;曾，进而，有?2XX,Y在样本回归直马又，因此，有2 Xt x?2xt对总体回归模型丫 12Xtt两边分别对t求和，再除以n,有:Y 12Xtt12Xtt2Xt11i Y - inn一 一 1Y i 2X - nXt2X所以，由11咱-1,可得, Y i 2X'Yt Y 2 Xt Xt2xtt将两部分结合起来，现在，我们可以得到:et Y Y? Y Y Y? YY? Y ?2XtYt Y 2Xt t -文档实用标准文案可以得到:et2?2 Xtt -,（从这个式子我们可以看由什么

11、呢？）至此，已经将残差与扰动项联系起来了。由此,我们可以得到:2 etXtrH少）2etXt2E2Xt22Xtt_ 2t2xtt有:2 xtXtt2EXt在这三项当中，有:var 22u_-2Xt所以，第一项为42E2X2?T X文档实用标准文案第二项为:2221 n1 n1n1e n 11e nE n 1e n 1e n 1e n2u第三项为:文档实用标准文案2EXtt2EXt2EXt2Ebt2E2Ebt t2Ebi i2EbiXi2Eh*EHx 2btXt2i2t2 tXt1X22EbtXsE故有E2et(ni) 22EbtXtbibtE(n 2)iXtt2 E bt t EXt2,也就是

12、说2 et2 e(n 2)2 如令S2九则意味着S22o这说明S2是2的无偏估计量。前面，我们已经求得2U2,2°Xt在？i和？的方差中都含2 X2i,-4和 2： NnXt有未知量2。这里，我们证明了 S2是2的无偏估计量，因此，2可以用S2 篇作为2的估计值，这样，代入得到？i和马的方差的估计值分别为:c2、/ 2S?i"和同S22XtS 族，S 国 S?2 底分别称为回归模型的标准差、 参数文档实用标准文案估计值？1和？2的标准差。知道了估计值的方差估计值，就可以对参数进行显著性检 验，也可以估计总体参数的置信区间。二参数估计的显著性检验以上一节家庭消费支由和收入之间

13、的关系的例子来说明，通过选取样本，我们得到了总体参数1和2的估计值分别为Z和马。通过这个估计值，我们知道了家庭消费支由和 收入的具体数量关系。现在，需要知道的是，通过样本得到 的估计值能够正确地反映总体参数吗？这需要通过假设检 验来做由判断。1、 关于假设检验假设检验指利用 样本得到的信息来判断 总体是否具有 莫种制定的特征。例如：奥药品生产线上规定，每片药片的 净重是400毫克，标准差是4毫克。今连续检查20片药片, 平均药片重量为395.4毫克。问药片的重量是否已经偏离了 额定净重值？假设：对总体分布特征的假设假设检验：根据样本信息来判断总体分布是否具有指定 的特征，这个过程叫假设检验。就

14、家庭消费支由而言，我们关注的是家庭消费支由与收 入之间是否真的存在回归关系，也就是说我们关注总体参数i和2是否不等于零。因此，我们这里的假设是对总体参数文档实用标准文案的假设，我们这里的检验是对总体参数的假设检验，我们要运用的假设检验的工具是用样本工具得到的与？和2有关的检验的工具。这就是用样本信息来推断总体。1、 对总体均值的假设检验因为我们关注的是解释变量和被解释变量之间的关系是否真实存在，因此，我们需要检验的是总体均值是否为零。对总体均值的假设检验可分三种情况：(1)总体服从正态分布，总体 方差已知，样本大小无限制(2)总体总体分布未知，总体 方差未知，大样本(3)总体服从正态分布，总体

15、 方差未知，小样本我们这里符合的是 总体服从正态分布，总体 方差未知，小样本。2、用什么来检验？(检验工具，统计量)我们已经知道，参数估计值满足：2 X22?： N 1-和？2：N 2 ,要尽可能禾I用关于 ？和？2 n xxt的信息。将？和马由正态分布转化为标准正态分布统计量:Z 11 : N 01 和 Zvar 222 : N 01var马在这两个统计量中，var ?和var 2我们都不知道，原因在于2:未知。但我们前边已经证明 S2上是：的无偏估计量。(n 2)心因此，对于大样本情况，我们可以用2S2借代替进而文档实用标准文案求得var ?和var 2以及S?席,S?庐。 1.12：12

16、?一？这样 Z _= : N 01和Z -=2= : N 01可以进一步转化 ?,?,var ?Jvar ?为.Z 1 : N 01 和 Z 2 : N 01 。S?S?12从而可以利用这两个统计量对总体参数1和2进行检验。（什么含义）就是说，我们可以对比如2进行检验。如何检验 ?呢？就是考察我们算由来的统计量Z +2 号是否服从:S?2.；S?2正态分布。对于一元线性回归模型而言，我们关心的是解释变量能否解释被解释变量，在数学上这表现为2 0是否成立。因此，我们可以进行下假设:零假设H。： 2 0备择假设H1: 2 0?在零假设条件下，Z 2 件服从标准正态分布，我们用§S22这个

17、统计量进行检验。在一般情况下，样本容量不满足大样本条件，这时要用t统计量，所做的检验称之为 t分布检验。这时t统计量为:文档仔，其服从自由度为（ ,S?2n-2 ）的t分布实用标准文案关于t分布t分布的含义是随机变量落入一定区域的概率。给定显著性水平和自由度（n-2 ），则t落入区间t ,.2（n 2）,t/（n 2）内的概率为：P t 2（n 2） t t 2（n 2）1t落在t,2（n 2）,t,2（n 2）区域之外的概率为 ，也可以写作：P t t ；2（n 2）, 此式子等价于P t t ,.2（n 2）-和P t t 2(n 2),。见下图。-t （n-2）0t （n-2）很显然，如

18、果计算由来的这时 t统计量为：?- 一一一 t 日 t ,（n 2）（即t统计量小于临界值），则可以认为原假设成立，即2 0。?反之，如果计算由来的这时t统计量为：|t 仔 t"n 2）,则可以认为备择假设成立，即文档实用标准文案因此，我们通常的希望是 t统计量值大于临界值。t统计量 值我们可以根据样本计算由来，而临界值可以通过查表得 到。问题：t值与P值的关系是什么？相应地，我们可以对总体参数值1进行检验。过程为:零假设为：H0： i 0备择假设为：Hi： 2 0计算统计量t-1S2?查t分布表，得由临界值 Wn 2）若|t| t,2（n 2）,则拒绝零假设，接受备择假设，即认为

19、2 0三、总体参数的置信区间1 、 i的置信区间_?, t _,由P t，2（n 2） t t Mn 2）1 ，将t一1代入概率公式，可S?1得:P t 2（n 2）11S?1t 2（n 2）P t 2（n 2）S?1 t 2（n2）S?11P ? t,2（n 2）S“2（n 2）S?1P ? t；2（n 2）S?11? tMn 2）S?11用概率表述为：总体参数1在区间 ？ t/n 2）S? , ? t；2（n 2）S?内的概率为1。统计表述：区间 Z t ；2（n PS4 , ? t,2（n 2）S?包含总体参数文档实用标准文案1的概率为1 。通常说，总体参数1的1置信区间为：? t ,.

20、2（n 2）S? , ? t ；2（n 2）S?12、相似地，总体参数2的1 置信区间为：? t .2（n 2）S, , ?2 t .2（n 2）S,由这两个区间，可以推断总体回归线所处的区域。四、决定系数（可决系数）评价回归直线对观察值拟合的好坏，拟合优度是一个重要的指标。显然，若观测点离回归直线近，则拟合程度好，反之,则拟合程度差。测量拟合优度的统计量是可决系数（决定系数）现由一个恒等式开始。Yt Y （Y? Y） （Yt Y?）这个式子把解释变量的总偏差 Yt Y分解成两部分：回归偏差 或者叫可解释偏差（Y? Y）和残差（Y Yt）两部分之和。可解释偏差是由样本回归直线决定的，残差则是随

21、机的。显 然，由样本回归直线解释的部分越大，则残差越小，样本回 归直线与样本值的拟合优度就越好。而要从总体上反映样本 回归方程对所有样本点的拟合的好坏，必须求和，考虑到正 负抵消的问题，可以求平方和。2总离差平方和：TSSYt Y2回归平万和：ESSYt Y文档实用标准文案残差平方和：RSS现在推导三者之间的关系:Y Y (Y? Y)(工 Y?)_ 2c 一C 2Yt Y (Y? Y) (Y Y；)(Y? Y)2 (Y Y?)2 2(Y? Y)(Y Y?)c2c 2c-cYt YYt Y? 2(Y? Y)(Yt Yt)_ _ 2_ 2Yt YYt Y?这里有：2 (Y? Y)(Yt Y?)2?

22、 %Xt Yet2?et 2t2 qXt 2Y e0(会议正规方程组)2八 - 2- 2I 1所以有 Y Y Y? YYt Y?。即:总离差平方和=回归平方和+残差平方和 用公式表示为：TSS=ESS+RSS, ESS表示可以由解释变量说明的 偏差部分，RSS表示可以由残差说明的偏差部分。显然，ESS在TSS中所占的比例越大，RSS所占的比例越小，则参数估计值的显著性越强，样本回归直线与样本观测值拟 合得越好。因此，可以用ESS在TSS中所占的比例说明回归直线与样本观测值的拟合程度。也即总离差中可以由回归方程说明的部分。可决系数或拟合优度可以定义为:2.ESSR 一TSS文档实用标准文案可决系

23、数的取值范围为：R2 0,1R2变化的含义是什么？四、相关分析1、回归分析和相关分析的区别回归分析：性质、变量要求相关分析：相关关系，不是因果关系。变量要求不同2、 相关分析的分类：线性相关：直观上讲，样本点集中分布在一条直线附近。直线斜率为正，为正相关。直线斜率为负，则为负相关非线性相关：样本点分布在一条曲线周围3、 相关程度的度量般用相关系数表示 X和Y的相关程度。总体相关系数定义为_ cov X ,YXY Vvar(X) Jvar( Y)总体相关系数的取值范围：总体相关系数与样本相关系数之间的关系。样本相关系数一般用rXY来表示，且定义:cov X,Yvar(X) . var(Y)2Xt

24、XtYt2yt这里有:X=X X yt=Y Y4、 相关分析与回归分析的关系文档实用标准文案这里特指在一元线性回归分析和简单相关分析中的关系。这里可决系数与相关系数有如下关系：。二R2 ,即 r=斥。5、 计量回归分析的规范表达 第五节 预测和预测区间关于预测预测对两种样本数据的作用。 对于时间序列数据的估计的目的是预测。对截面数据估计的目的是为了推测未知数据。预测是计量经济学的一项主要任务。一、预测的点估计首先回顾四个方程式总体回归模型：Y i 2Xt t总体回归直线：E Yt i 2Xt样本回归模型：Y ?0 2Xt et样本回归直线：Yt 7 Zx对于样本外的符合假定条件的一点X。而言，

25、代入总体回归模型和总体回归直线，我们可以得到：Y。 i 2X0 o 和 E Y。 i 2X0然而，由于1和2我们并不知道，因此，无从获得Yo和E Yo但是，利用样本回归直线，我们可以得到Yo的估计值Y0,即Y0 Z NX。，求期望有：文档实用标准文案2X0E ? E2X02X 0 E Y0这说明曾是的无偏估计量。同时，E Y0E 丫。丫。0 ,故E 丫丫。，这说明丫不是丫。的无偏估计量。Y0Y?012X,X0可得:E Y0Y?0E 12X012X02 X022这说明在多次观察中,Y0次平均值趋于零，从而以 改作为丫。的估计中心是合理的 二、预测的区间估计1、E工的置信区间2、丫。的置信区间先求

26、E Y）的置信区间因为E工1 2X0 ,所以E 丫）服从正态分布。求其置信区间的关键是求其与丫的偏差的方差。2var E 7） 丫 E E 丫。 丫 E E 丫。 丫0其中，EEYoY E YoE y）0 （丫是E 丫0的无偏估计量）2文档所以，var E Yo 丫 E E Yo 丫0,进一步可以与为实用标准文案var E Yovar喝e Yoe Yo 2进而,var E YoE Yo2X02 XoXo2E2? Y12Xo22 2XoE.1122上式子中的第一项为:一2一?2?E 11 E 1 E 1varXt22 Xt上式子中的第二项为:2Xo2E 马 2 Xo2E 马v 2Xo varX

27、2 2Xo u2-Xt上式子中的第三项为:2XoE2XoX u22Xt将上述三项相加得到2分 2 1Xo Xvar E X Yo：( -)nxt因为上式中，总体方差：可以用S2来代替从而可以得到文档Var E YoYoVar YS21Xo(n 2X一)Xt所以，根据E Yo Y0的分布，给定显著性水平，使用t统计量，则有P t 2 n 2t 2 n 21Var Y)即有 P Y t2 n 2 JVar 喝 EK Y t ；2 n 2 War Q 1。E Yo喝的方差估计值为:实用标准文案这说明，E Yo的1 置信区间为:Y0 t 2 n 2 JVar Y0 ,Y0 t 2 n 2 JVar Y

28、2、Yo的置信区间相似地，我们可以得到 Y）骂的方差估计值为Var Yo Y0S2(1 1 n2XoX)Xt从而Yo的1 置信区间为:Y0 t 2 n 2 JVar Y。Y Wt 2 n 2 JVar Y0 曾io .案例：用回归模型预测木材剩余物伊春林区位于黑龙江省东北部。全区有森林面积218.9732 万公顷，木材蓄积量为2.324602亿m3。森林覆盖率为62.5% ,是我国主要的木材工业基地之一。1999年伊春林区木材采伐量为 532万m3。按此速度44年之后，1999年的蓄积量将被采伐一空。所以目前亟待调整木材采伐规划与方式，保护森林生态环境。为缓解森林资源危机，并解决部分职工就业问

29、题，除了做好木材的深加工外，还要充分利用木材剩余物生产林业产品，如纸浆、纸袋、纸板等。因此预测林区的年木材剩余物是安排木材剩余物加工生产的一个关键环节。下面，利用一元线性回归模型预测林区每年的木材剩余物。显然引起木材剩余物变化的关键因素是年木材采伐量。给出伊春林区16个林业局1999年木材剩余物和年木材采伐量数据如表2.1。散点图文档实用标准文案见图2.14。观测点近似服从线性关系。建立一元线性回归模型如下:20 -15 _10 51020304050607025yt =0 + i xt + ut:ytm3)xtm3)乌伊岭26.1361.4东风23.4948.3新青21.9751.8红星11

30、.5335.9五营7.1817.8上甘岭6.8017.0友好18.4355.0翠峦11.6932.7乌马河6.8017.0美溪9.6927.3大丰7.9921.5南岔12.1535.5带岭6.8017.0朗乡17.2050.0桃山9.5030.0双丰5.5213.8202.87532.00表2.1年剩余物yt和年木材采伐量xt数据30图2.14 年剩余物yt和年木材采伐量xt散点图文档实用标准文案Dependsnt Vari5bls： ¥ Method: Least Squares Date: 1M9/Q3 Time: 15:38Sample: 1 16Included observ

31、ations1 16VariableCoefficientStd Error StatisticProbC-0.7629301.220966-0.6240560.5421X0.4042000 03337712.1126B0.0000R-squ<Jred0.912890Mean dependent var12.67938Adjusted R-sqjsred0.906668S.C. dependent var5.666466S.E. of regression2036319Akaike info tritenoh4 376633Sum squared resid53,05231Schwar;

32、 criterion4473207Log likelihijod33 01306F-stadistic146.716BDurbin-Walson stt1.481946ProbfF-statistic)0.000000图2.15 Eviews输出结果Eviews估计结果见图2.15。建立Eviews数据文件的方法见附录1 。在已建立 Eviews数据文件的基础上，进彳TOLS估计的操作步骤如下： 打开工作文件，从主菜单上点击 Quick键，选Estimate Equation 功能。在出现的对话框中输入y c x。点击Ok键。立即会得到如图2.15所示的结果。下面分析Eviews输出结果。先看

33、图 2.15的最上部分。被解释变量是yt。估计方法是最小二乘法。本次估计用了16对样本观测值。输出格式的中间部分给出5歹U。第1列给出截距项（C）和解释变量xt。第2列给出第1列相应项的回归参数估计值（？o和?1）。第3列给出相应回归参数估计值的样本标准差（ s（ ?o）, s（ ?i）。第4列给出相应t值。第5列给 t统计量取值大于用样本计算的t值（绝对值）的概率值。以 t = 12.11266为例，相应0.0000表示统计量t取值（绝对值）大于12.1的概率是一个比万分之一还小的数。换话说，若给定检验水平为0.05 ,则临界值为t0.05 （14）= 2.15 。t = 12.1>2.15 落在了 h1的拒绝域，所以结论是1不为零。.出格式的最下部分给出了评价估计的回归函数的若干个统计量的值。依纵向顺序，这些统计量依次是可决系数R2、调整的可决系数 R2 （第3章介绍）、回归函数的标准差（s.e.,即均方误差的算术根 ？）、残差平方