计量经济学重点笔记第二讲

1、一、 基本概念：估计量与估计值所谓估计量就是指估计总体参数的一种方法。在该方法下，给定一个样本，我们可以获得一个具体的估计结果，该结果就是所谓的估计值。例如，基于一个样本容量为N的样本，其中为第i次观测值，我们用样本均值来作为对总体均值的估计。在这里，就属于估计量，由于其取值随着样本的变化而变化，因此它是随机的。现在假设我们持有A、B两个样本：与，则基于这两个样本，可以计算出：分别是估计量可能的取值，它们就是估计值。既然估计量是随机变量，那么它一定服从某种分布，由于估计量与抽样相联系，因此我们把估计量所服从的分布称为抽样分布。有关统计学的一些基本知识请参见本讲附录一。笔记：观测值是随机变量的一

2、个可能的取值。我们用样本均值来估计总体均值，实际上就是用来估计。在数理统计中，这被称为矩估计，因为被称为样本（一阶）矩，而被称为总体（一阶）矩。矩估计其要点可以归结为，符号与符号E相对应。我们再来看看矩估计思想的一个应用。为了估计随机变量的方差E- E()2（也即总体方差），在矩估计法下，则方差估计量将是：。应该注意到，这个方差估计量是有偏估计，而才是方差的无偏估计。如果样本容量很大，这两个估计量相差无几，事实上两者都是方差的一致估计量。这个例子暗示，矩估计并不一定会获得一个无偏的估计量，但将获得一个一致的估计量。关于估计量无偏性与一致性的基本含义见附录1二、 高斯-马尔科夫假定对于模型：，则

3、、相应的OLS估计量就是：在一些重要的假定下，OLS估计量表现出良好的性质。我们把这些假定称为高斯-马尔科夫假定。假定一：真实模型是：。有三种情况属于对该假定的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y与x间的关系是非线性的；（3）并不是常数。笔记：1、遗漏了的解释变量将进入误差项，从而这很可能导致误差项不在满足下面所列举的一些假定；如果真实模型是非线性的，但我们却用一条直线来近似它，显然这是南辕北辙；如果参数并不是常数，然而我们却基于特定样本用一些常数去近似它们，这显然也不合理的。2、经济学理论或许很少直接认为y与x的关系是线性的，y与x具有非线性关系可能更符合现实。

4、然而把模型建立成非线性形式常常会付出代价，因为非线性模型其待估计的参数可能更多，从而导致自由度的耗费，带来估计精度的下降。另外，从数学上讲，利用泰勒展开，我们也常常可以用一个线性模型去近似非线性模型。假定二：对解释变量的N次观测即被预先固定下来，即不会随着样本的变化而发生变化，是一个非随机列向量。显然，如果解释变量含有随机的测量误差，那么该假定被违背。还存其他的违背该假定的情况。笔记：1、被假定不会随着样本的变化而发生变化，但这并不意味着在一个给定的样本中。事实上，在含有一个截距与一个解释变量的简单线性回归模型中，将意味着OLS估计量失去意义，见高斯-马尔科夫假定六。2、被假定为非随机并不是一

5、个标准假定，然而在该假定下数学处理要简单得多，而且OLS基本的涵义也并未丧失。是随机的情况更一般化，此时，高斯-马尔科夫假定二被更改为：对任意与，与不相关，此即所谓的解释变量具有严格外生性。显然，当非随机时，与必定不相关。事实上，假定二其最终目的在于保证与不相关。3、在建立模型时，我们总是希望误差项是由一些不重要、没有任何信息价值的成分所构成。如果与相关，这意味着误差项还具有一定的信息价值，因此在某种程度上可以认为，我们预先建立的模型是不完备的。应该注意到，如果模型遗漏了解释变量，而这些被遗漏的解释变量又与已存在的解释变量是相关的，那么这将导致误差项与已存在的解释变量是相关的。4、为了理解非随

6、机性的假定，我们考虑如下一个例子。我们试图考察受教育年限（x）对收入（y）的影响。假定我们预先知道总体中有1%的人口接受了22年的学校教育；有3%的人口接受了19年的学校教育；有10%的人口接受了16年的学校教育。现在，我们进行一个样本容量为1000的抽样调查。为了使样本尽量反映总体的情况，我们要求样本中有10人接受了22年的教育；有30人接受了19年的教育；有100人接受了16年的教育。这种抽样技术被称为分层随机抽样（Stratified random sample）。在抽样中，设定前10次观测对象是那些接受了22年的教育的人，接下来是那些接受了19年教育的人。在这种方法下我们可以获得多个样

7、本，但被预先固定下来，即它不会随着样本的变化而发生变化。假定三：误差项期望值为0，即。笔记：1、当随机时，标准假定是：根据迭代期望定律有：,因此，如果成立，必定有：。另外，根据迭代期望定律也有：而。故有： 因此，在是随机的情况下，假定二、三可以修正为一个假定：。2、所谓迭代期望定律是指：如果信息集，则有。无条件期望所对应的信息集是空集，因此按照迭代期望定律必有：。本讲义第十讲对该定律进行了更为详细的介绍。3、回忆第一讲，对模型，在OLS法下我们一定能保证：(1)残差均值为零；(2)残差与x样本不相关。我们希望残差是对误差的良好近似，但如果假定二、三不成立，即，误差项期望值不为零，误差项与解释变

8、量相关，显然此时残差并不是对误差项的良好近似。由于，因此，如果残差并不是对误差项的良好近似，那么参数的OLS估计量就不是对真实参数良好的近似。由此看来，为保证OLS估计量具有良好的性质，假定二、三的成立非常重要。4、当假定成立时，必有；，进而（在这里对各随机变量未加注脚标，这是因为无论脚标是什么，相关等式都成立。现在我们来利用所谓的矩估计思想。误差项观测不到，故我们不得不把残差当做是对误差的观测。于是按照矩估计思想有：；，而这两个式子正是OLS估计法中的两个正规方程，由正规方程就可以得到参数的OLS估计量。由此看来，当假定成立时，OLS估计不过是矩估计的特例。如果知道了这一点，我们就会很快地记

9、住OLS估计量公式：当时，。用样本协方差与样本方差代替总体协方差与总体方差，则有：。我们以后在学习工具变量估计法时，将再次体会到矩估计思想的重要性。 可以发现，矩估计仅仅涉到了x与同期不相关的假定，从这个意义上讲，这个条件过于强了，但只有在这个条件下OLS估计量的无偏性才能保证成立，这可参见更高级的教科书。假定四：，即所谓的同方差假定。笔记：1、 在是随机的情况下，该假定修订为：2、如果误差项是异方差的，那么N个误差项将具有N个不同的分布。如果把残差近似为对误差的观测，则此时每一个分布下只有一次观测，显然仅凭一次观测我们很难对随机变量的分布性质进行统计分析。假定五：，即所谓的序列不相关假定。笔

10、记：1、在是随机的情况下，该假定修订为：2、如果误差项序列相关，这表明误差项还含有系统性的、可资利用的信息。但如果我们已建立的线性模型是完备的，那么假定误差项序列不相关就显得相当自然了。假定六：，在多元回归中，该假定演变为的逆存在，即矩阵列向量线性无关。笔记：1、假定六是最基本的，因为违背该假定则OLS估计量的相关公式就失去了意义。但假定六在实践中最不值得担心，因为当该假定被违背时，计量软件将立即告诉我们此时无法进行计算。2、在模型含有截距的情况下，矩阵列向量线性无关这个条件要强于各解释变量线性无关这个条件。高斯-马尔科夫假定二、三、四、五都可以被归结为对误差项性质的假定，而假定一部分可以认为

11、是对误差项性质的假定。假定六是关于参数可识别的假定。结合OLS的代数性质，我们是不是可以直接感觉到假定一、二、三的重要性？但不幸的是，初级计量经济学经常把重心放在了假定四、五上了。怎么让我们相信假定一至五是成立的呢？首先我们应尽量利用经济学理论来判断相关假定的合理性，其次我们可以进行一系列计量经济检验。应该注意到，假定一至五基本上都涉及到对误差项分布性质的假定，因此计量经济检验可以说就是检验误差项的分布性质。不过困难之处在于，误差项不可观测。但如果高斯-马尔科夫假定成立，残差将是对误差的良好近似，于是，我们可以通过分析残差的性质来间接推断误差项的分布性质。三、 高斯-马尔科夫定理当高斯-马尔科

12、夫假定成立时，在所有线性无偏估计量中，OLS估计量方差最小，即OLS估计量是最有效的。换句话说，当高斯-马尔科夫假定成立时，OLS估计量是最优线性无偏估计量（Best linear unbiased estimator, BLUE），此即高斯-马尔科夫定理。笔记：1、对一个估计量，我们希望它具有什么样的性质？(1)简单实用。随着计量软件的发展，这一点可能不那么重要了；(2)不同的人利用不同的样本得到不同的估计结果，但我们希望平均来看，估计结果将是准确的，此即估计量的无偏性；(3) 不同的人利用不同的样本得到不同的估计结果，但我们希望这些结果差异不要太大，事实上差异越小越好，即估计量的方差越小越

13、好，此即估计量的有效性；(4)如果把总体全部展示在我们面前，则我们希望所利用的估计量能够得到真实的参数值，此即估计量的一致性。显然一致性是一个合理的估计量应该满足的最低要求。如果把事情的真相都告诉你了，你却依据一估计方法得到错误的结果，那么这个估计方法一定是一个垃圾！2、我们很希望一个无偏估计量也是有效的。下面一个调侃计量经济学家的笑话或许有助于我们理解这一点。三个计量经济学家去森林中打猎。一个计量经济学家一枪击到一头野猪前面五米处，一个计量经济学家一枪击到这头野猪后面五米处，第三个计量经济学家高兴得跳起来喊道，“击中了！击中了！我们平均击中了！”。3、一个估计量可能是有偏的、无效的，但如果满

14、足一致性，它也是有用的。因为当我们手中的样本容量确实很大时，那么基于这个一致估计量的估计结果应该是对真实参数良好的近似。我们在前面的笔记中曾提到，如果假定二、三不成立，则残差并不是对误差项的良好近似，进而参数的OLS估计量就不是对真实参数良好的近似。由此看来假定二、三的成立对于保证OLS估计量的一致性非常重要。（一）OLS估计量是线性估计量所谓OLS估计量是线性估计量，是指它能够被表示为的线性函数。例如：在这里我们定义。应该注意到，在假定二下，ki是非随机的。练习：把表示成的线性函数：，其中。笔记：可以从数学上验证：另外一种简单的验证方式是：（1）假定被解释变量与解释变量都是x，那么回归直线的

15、斜率将为1，截距将为0，即有：（2）假定被解释变量取值恒为1，那么回归直线的斜率将为0，截距将为1，即有：（二）OLS估计量具有无偏性：；证明：注意到；，再利用高斯-马尔科夫假定三：，于是有：。笔记：1、在是随机的情况下，我们需证：2、我们在证明无偏性实际上应用了高斯-马尔科夫假定一、二、三。练习：证明（三）在所有线性无偏估计量中，OLS估计量方差最小1、OLS估计量的方差利用高斯-马尔科夫假定五：与高斯-马尔科夫假定四：有：。注意到：因此有：笔记：1、，当N趋于无穷大时，样本方差收敛于总体方差，故当N趋于无穷大时，趋于0。由于，因此，当N趋于无穷大时，在概率上收敛于，即是的一致估计量。你能够

16、表明是的一致估计量吗？2、我们得到上述方差公式时实际上利用了高斯-马尔科夫假定一、二、四、五。当上述假定不成立时，上述公式无意义。练习：（1）证明在高斯-马尔科夫假定下：（2）证明在高斯-马尔科夫假定下：2、OLS估计量的有效性任意一种线性估计量都可表示为，当时，该估计量即为的OLS估计量。现在我们将证明：在所有无偏的的线性估计量中，OLS估计量具有最小的方差。“在所有无偏的的线性估计量中”是一个前提条件。我们的任务是，在给定前提下（约束条件），证明OLS估计量所对应的权数使方差（目标函数）取最小值。首先分析前提条件：线性估计量的表达是为了保证的无偏性，那么下面的等式应该恒成立：因此，。其次分

17、析方差表示：在高斯-马尔科夫假定四、五下，有：。最后，形成数学问题：常数只影响目标函数值但不影响的选择，因此在求解上述优化问题时可以省去。对上述极值问题，其拉格朗日函数是：相应的一阶条件是：把（3group）中各式相加并利用（4）有：把（3group）中第i式两边同时乘以后再各式相加，然后利用（5），有：由（6）、（7）有：于是我们已知道这个权数正是的OLS估计量所对应的权数，故问题得证。练习：证明在所有的线性无偏估计量中OLS估计量其方差是最小的。笔记：线性性质不过是OLS估计量在假定一下所具有的代数性质，无偏性与有效性才是高斯-马尔科夫定理所强调的。高斯-马尔科夫定理为OLS的广泛应用提供

18、了理论依据。当然问题是，该定理涉及到如此众多的假定，这些假定同时成立实属罕见！从而这涉及到两个问题：(1)如何检验这些假定？(2)如果一些假定并不成立，那么OLS估计量具有什么性质？此时我们应该采取何种估计方法？本讲义后续章节将讨论这些问题。在附录二中，本讲义提供了很多教科书对高斯-马尔科夫的另外一种证明形式。四、 补充知识点（一）估计误差的方差模型中的误差项其方差经常未知而有待估计。可以证明，在高斯-马尔科夫假定下，对误差项的一个无偏估计是：为简单计，考虑一元线性回归模型的情况，此时k=1。我们需要证明。证明：在高斯马尔科夫假定下，有：因此，故。注意到：而因此有：故：因此，笔记：1、实际上是

19、残差的样本方差在含截距的简单线性回归模型中，残差的自由度是N-2。误差是观测不到的，但我们能利用样本得到残差。直观来看，我们可以利用残差的样本方差来作为对误差方差的估计。上述证明结果表明，这个估计还是无偏的。2、在第一讲谈到自由度调整时，我们曾经举个一例：当计算样本方差时如果注意自由度调整，我们将得到一个对总体方差的无偏估计。3、只有残差是对误差的良好近似时，基于残差的样本方差来估计误差的方差才是合理的。因此，高斯-马尔科夫假定非常重要的。例如，如果违背假定四，即误差项是异方差的，那么我们利用一个不会随着i的变化而变化的数（会随着i的变化而变化吗？）去估计一系列随i而变化的参数（误差项方差随i

20、的变化而变化），显然这是不合理的。应该注意，尽管在高斯-马尔科夫假定下是对的无偏估计，然而并不是对的无偏估计，不过可以证明是对的一致估计。被称为“回归的标准误”（standard error of regression,SER）。笔记：1、为什么在高斯-马尔科夫假定下是对的无偏估计，但并不能由此推出是对的无偏估计？从数学上可以表明，当是非线性函数时，由不能推出。事实上由利用Jensen不等式有：，而所谓Jensen不等式是指:，g是凸函数（凸向原点）；，g是凹函数（凹向原点）。2、另外还可以证明是对的一致估计，即：。概率极限运算具有如下性质：由上述性质，则。按照定义，是标准差，是非负的，故有：

21、，即，如果是对的一致估计，则是对的一致估计，反之亦然。（二）基于样本回归直线的预测假定真实模型是：，模型满足高斯-马尔科夫假定。利用OLS法得到：。现在我们获得一次新的观测，然而此次观测只获得x的取值xf，现在我们考虑基于样本回归直线来预测yf和E(yf)。1、预测yf以作为对yf的预测。则预测误差是：。显然E(e1)=0；笔记：1、的随机性来源于。与是不相关的，因此与无关。2、根据上述表达式可知，当时，预测误差方差最小。直觉是什么呢？以工资对教育水平回归为例。首先你基于一个样本得到估计结果，该样本主要由具有初中和高中学教育水平的人构成。想一想，如果利用已有的回归结果去预测一位博士的收入，预测

22、精度会高吗？如果利用已有的回归结果去预测一位小学可能都未读完的人的收入，预测精度会高吗？2、预测E(yf)以作为对E(yf)的预测。此时预测误差是：显然，E(e2)=0。比较可知，尽管既是yf的无偏预测也是E(yf)的无偏预测，但它更适合作为对E(yf)的预测。直觉上，由于yf是随机的而E(yf)是非随机的，因此对yf的预测应该难于对E(yf)的预测，即对yf的预测精度应该低于对E(yf)的预测精度。上述两种预测都属于点预测。还有一种预测被称为区间预测，参见第三讲附录三。附录一：通过例子学习统计学知识（一）期望值、均值、估计量、估计值在座各位所形成的班级是一个总体，总体的平均身高()等于各位同学身高之和除以总人数。我打算利用样本平均身高来估计总体参数。现在我将从在座各位中随机抽取N位同学以形成一个样本容量为N的样本。记为第i次被抽取同学的身高。在第i次抽取具体实施之前，是一个随机变量，而各位同学的身高都是该随机变量可能的取值。由于班级中的每位同学都等可能地被抽到，因此，这个随机变量的