设定误差与测量误差

1、1设定误差与测量误差计量经济学计量经济学2引子：引子：简单一定胜于复杂吗简单一定胜于复杂吗? ? 西方国家盛行西方国家盛行“occams razor”原则，意思是原则，意思是“简单优于复杂简单优于复杂”的节约性原则。经济模型永远的节约性原则。经济模型永远无法完全把握现实，在建立模型中一定的抽象和无法完全把握现实，在建立模型中一定的抽象和简化是不可避免的。简化是不可避免的。 在研究进口与国内生产总值的关系时，考虑到时在研究进口与国内生产总值的关系时，考虑到时间趋势，建立并估计了以下模型间趋势，建立并估计了以下模型 imgdpttt23= -172.42 + 0.271- 949.12+ 160.

2、73- 10.18 (-0.177) (5.67) (-2.22) (2.20) (-2.74)tdwrf0.991 272.95 1.97 23 有人根据有人根据“简单优于复杂简单优于复杂”原则，得到以下方程：原则，得到以下方程： (2)(2) 进行比较：进行比较： 两个方程的检验结果都较理想；两个方程的检验结果都较理想； 方程（方程（2）gdp的的t检验值似乎优于方程（检验值似乎优于方程（1）；）； 方程（方程（2）函数形式也更为简单；）函数形式也更为简单； 然而，能否根据然而，能否根据“occams razor”原则，判断方程（原则，判断方程（2）比）比方程（方程（1）好？）好？imgd

3、p-217.1860.173 (-0.5) (16.94)tdwrf2 0.960 286.95 0.7354 对模型的设定是计量经济研究的重要环节。对模型的设定是计量经济研究的重要环节。 前面各章除了对随机扰动项前面各章除了对随机扰动项 分布的基本假定以分布的基本假定以外，还强调外，还强调: 假定设定的模型对变量和函数形式的设定是假定设定的模型对变量和函数形式的设定是正确地描述被解释变量与解释变量之间的真实关正确地描述被解释变量与解释变量之间的真实关系，假定模型中的变量没有测量误差。系，假定模型中的变量没有测量误差。 但是在实际的建模实践中，对模型的设定不一定但是在实际的建模实践中，对模型的

4、设定不一定能够完全满足这样的要求，从而会使模型出现设能够完全满足这样的要求，从而会使模型出现设定误差。定误差。iu5第九章 设定误差与测量误差 本章主要讨论本章主要讨论: : 设定误差设定误差 设定误差的检验设定误差的检验 测量误差测量误差6 第一节第一节 设定误差设定误差本节基本内容本节基本内容: :设定误差及类型设定误差及类型变量设定误差的后果变量设定误差的后果 7一、设定误差及类型一、设定误差及类型 计量经济模型是对变量间经济关系因果性的设想，计量经济模型是对变量间经济关系因果性的设想，若所设定的回归模型是若所设定的回归模型是“正确正确”的，主要任务是所的，主要任务是所选模型参数的估计和

5、假设检验。但是如果对计量模选模型参数的估计和假设检验。但是如果对计量模型的各种诊断或检验总不能令人满意，这时应把注型的各种诊断或检验总不能令人满意，这时应把注意力集中到模型的设定方面：意力集中到模型的设定方面： 考虑所建模型是否遗漏了重要的变量？考虑所建模型是否遗漏了重要的变量？ 是否包含了多余的变量？是否包含了多余的变量？ 所选模型的函数形式是否正确？所选模型的函数形式是否正确？ 随机扰动项的设定是否合理？随机扰动项的设定是否合理？ 变量的数据收集是否有误差？变量的数据收集是否有误差？ 所有这些，计量经济学中被统称为设定误差。所有这些，计量经济学中被统称为设定误差。8从误差来源看，设定误差主

6、要包括：从误差来源看，设定误差主要包括：（1）变量的设定误差，包括相关变量的遗漏）变量的设定误差，包括相关变量的遗漏 （欠拟合）、无关变量的误选（过拟合）；（欠拟合）、无关变量的误选（过拟合）；（2）变量数据的测量误差；）变量数据的测量误差；（3）模型函数形式的设定误差；）模型函数形式的设定误差； （4）随机扰动项设定误差。）随机扰动项设定误差。本章主要讨论的两类变量设定误差本章主要讨论的两类变量设定误差:（1）相关变量的遗漏（欠拟合）；）相关变量的遗漏（欠拟合）；（2）无关变量的误选（过拟合）。）无关变量的误选（过拟合）。设定误差的类型设定误差的类型9 1. 相关变量的遗漏相关变量的遗漏（o

7、mitting relevant variables）例如，如果例如，如果“正确正确”的模型为的模型为而我们将模型设定为而我们将模型设定为 即设定模型时漏掉了一个相关的解释变量。即设定模型时漏掉了一个相关的解释变量。这类错误称为这类错误称为遗漏相关变量（遗漏相关变量（“欠拟合欠拟合”）。）。12233iiiiyxx122iiiyx10 2. 2. 无关变量的误选无关变量的误选 (including irrevelant variables) 例如，如果例如，如果“真实模型真实模型”为：为： 但我们却将模型设定为但我们却将模型设定为 即设定模型时，多选了一个无关解释变量。这类即设定模型时，多选了

8、一个无关解释变量。这类错误称为无关变量的误选（错误称为无关变量的误选（“过拟合过拟合”）。）。12233iiiiyxx1223344iiiiiyxxx11数据来源渠道可能不畅。例如，数据很难取得被数据来源渠道可能不畅。例如，数据很难取得被迫将具有重要的经济意义变量排斥在模型之外。迫将具有重要的经济意义变量排斥在模型之外。不知道变量应当以什么确切的函数形式出现在回不知道变量应当以什么确切的函数形式出现在回归模型中。归模型中。事先并不知道所研究的实证数据中所隐含的真实事先并不知道所研究的实证数据中所隐含的真实模型究竟是什么。模型究竟是什么。 设定误差在建模中较容易出现。设定误差的存在设定误差在建模

9、中较容易出现。设定误差的存在可能会对模型形成不良的后果。可能会对模型形成不良的后果。设定误差的原因设定误差的原因12二、变量设定误差的后果二、变量设定误差的后果 当模型设定出现误差时，模型估计结果也会与当模型设定出现误差时，模型估计结果也会与“实际实际”有偏误；有偏误； 偏误的性质与程度与模型设定误差的类型密切相偏误的性质与程度与模型设定误差的类型密切相关。关。 从实质上看，变量设定误差的主要后果，是一个从实质上看，变量设定误差的主要后果，是一个或多个解释变量与随机扰动项之间存在着相关性，或多个解释变量与随机扰动项之间存在着相关性，进而影响参数估计的统计特性。进而影响参数估计的统计特性。131

10、. 遗漏相关变量（欠拟合）偏误遗漏相关变量（欠拟合）偏误采用遗漏了重要解释变量的模型进行估计而带来采用遗漏了重要解释变量的模型进行估计而带来的偏误，称为遗漏相关变量偏误。的偏误，称为遗漏相关变量偏误。 设正确的模型为：设正确的模型为： 正确模型离差形式为：正确模型离差形式为：12233iiiiiyxxu2 22 3( - )iiiiyxxu u14却对方程却对方程进行回归，进行回归，得：得：取期望取期望2322232222(- )eeiiiiiix xxuuxx122iiiyx2322232222(- )iiiiiix xxuuxx15遗漏变量设定误差的后果遗漏变量设定误差的后果由此可以看出，

11、由此可以看出， 的遗漏将产生如下后果。的遗漏将产生如下后果。两边取概率极限，有：两边取概率极限，有：23222322cov,cov,limvarvariiiiniixxxupxxx3161. 如果漏掉的如果漏掉的 与与 相关，则分别在小样本下求相关，则分别在小样本下求 期望、在大样本下求概率极限，有：期望、在大样本下求概率极限，有：2. 如果如果 与与 不相关，则不相关，则 的估计满足无偏性与一致的估计满足无偏性与一致性；但这时性；但这时 的估计却是有偏的。的估计却是有偏的。 即即ols估计量在小样估计量在小样本下有偏，在大样本下非一致。本下有偏，在大样本下非一致。x3x211221122 e

12、() e()lim() lim()nnpp 且 22x3x2173. 的方差是的方差是 方差的有偏估计：方差的有偏估计：由由 得得由由 得得222222var()ixy =+x + v122y = +x +x +u122332222223222322223var()(1-)(1-)iiiiiix xxrxxx 18如果如果 与与 相关，显然有相关，显然有如果如果 与与 不相关，也有不相关，也有4. 遗漏变量遗漏变量 ，式中的随机扰动项，式中的随机扰动项 的方差估计的方差估计量将是有偏的，即：量将是有偏的，即： 5. 与方差相关的检验，包括假设检验、区间估计，与方差相关的检验，包括假设检验、区间

13、估计，在关于参数的统计显著性方面，都容易导出错误的在关于参数的统计显著性方面，都容易导出错误的结论。结论。 22evu22var()var()22var()var()3xiv2rss( -2)vvn3x2x3x2x19(1) 若若但实际情形并不完全如此。但实际情形并不完全如此。可以注意到残差平方可以注意到残差平方和和rss的计算的计算因此，因此，有可能：有可能：232230xxr 与 相关，显然，22varvar 22varvar;似乎有：22rss (2)rss (3);vuunnrss (2) rss (3);vunn20（2）若若 不相关，有不相关，有 似乎分别有：似乎分别有： 若这两个

14、等式成立，意味着尽管变量若这两个等式成立，意味着尽管变量 ，在，在理论上分析是有关的变量，但从所选模型中略理论上分析是有关的变量，但从所选模型中略去似乎也不会导致什么危害。这种认识实际也去似乎也不会导致什么危害。这种认识实际也不正确。不正确。32xx与222323200iiirx xx和；2222e var()var();3x21因为因为的有偏估计，即使的有偏估计，即使 不相关，也有不相关，也有致使假设检验程序很有可能是可疑的。致使假设检验程序很有可能是可疑的。必须清楚，一旦根据相关理论把模型建立起来，必须清楚，一旦根据相关理论把模型建立起来，再从中遗漏变量需要充分地谨慎。再从中遗漏变量需要充

15、分地谨慎。222222222222rss-2rss-3var()var()vvuuiiiinnxxxx是32xx与2var()var( )，222. 2. 包含无关变量偏误包含无关变量偏误定义定义:模型中包括了不重要的解释变量，即采用误模型中包括了不重要的解释变量，即采用误选了无关解释变量的模型进行估计而带来的偏误，选了无关解释变量的模型进行估计而带来的偏误，称为包含无关变量偏误称为包含无关变量偏误设设正确模型正确模型但却估计了但却估计了如果如果 ，则则(2)与与(1)相同，因此，可将相同，因此，可将(1)式式视为以视为以 为约束的为约束的(2)式式的特殊形式。的特殊形式。采用采用ols 法对

16、法对（2）进行估计，有：进行估计，有：y = +x +122 (1) yxxv12233 (2)303023将（1）式的离差形式代入， 整理得：期望和方差：22332322222323-()iiiiiiiiiiix yxx yx xxxxx2 2()iiiyxuu232233222222323()( - )-()( - )-()iiiiiiiiiiixx u ux xx u uxxxx 22e()2222223var()(1-)vixr24 无关变量的设定误差的后果无关变量的设定误差的后果1. 可以证明，（可以证明，（2）式参数的）式参数的ols估计量是无偏，估计量是无偏，且为一致性的。即：且

17、为一致性的。即： 同理，可证明：同理，可证明：2222e() limnp1133e(), e()01133limlim0nnpp 25222232var()1(1-)var()r12. 不是有效估计量：不是有效估计量： 此结论对此结论对 也成立。也成立。3. 随机误差项的方差的估计仍为无偏估计。随机误差项的方差的估计仍为无偏估计。4. 通常的区间估计和假设检验程序依然有效，但通常的区间估计和假设检验程序依然有效，但 方差增大，接受错误假设的概率会较高。方差增大，接受错误假设的概率会较高。 26（1）遗漏相关变量）遗漏相关变量 将导致参数估计量和假设检验有偏且不一致；将导致参数估计量和假设检验有

18、偏且不一致；（2）误选无关变量）误选无关变量 虽参数估计量具无偏性、一致性，又会损失有效性。虽参数估计量具无偏性、一致性，又会损失有效性。（3）注重检验的无偏性、一致性）注重检验的无偏性、一致性 宁愿误选无关变量也不愿遗漏相关变量；宁愿误选无关变量也不愿遗漏相关变量；（4）注重估计量的有效性，宁愿删除相关变量。）注重估计量的有效性，宁愿删除相关变量。 通常误选无关变量不如遗漏相关变量的后果严重。通常误选无关变量不如遗漏相关变量的后果严重。 因此，模型的设定实际是对偏误与有效进行权衡，偏爱哪一因此，模型的设定实际是对偏误与有效进行权衡，偏爱哪一方取决于模型的研究目的。方取决于模型的研究目的。遗漏

19、相关变量和误选无关变量的比较遗漏相关变量和误选无关变量的比较27第二节第二节 设定误差的检验设定误差的检验本节基本内容本节基本内容: :dwdw检验检验拉各朗日乘数检验拉各朗日乘数检验一般性检验一般性检验28对变量设定误差进行检验必须在经济理论指导下进行，对变量设定误差进行检验必须在经济理论指导下进行，不可抛弃经济理论而进行假设检验。不可抛弃经济理论而进行假设检验。对于是否对于是否误选无关变量误选无关变量的检验，只要针对无关变量系的检验，只要针对无关变量系数的期望值为零的假设，用数的期望值为零的假设，用t检验或检验或f检验，对无关变检验，对无关变量系数作显著性检验即可。量系数作显著性检验即可。

20、对于对于遗漏变量遗漏变量设定误差的检验有多种方法，例如设定误差的检验有多种方法，例如dw检验、拉格朗日乘数检验、豪斯曼检验、检验、拉格朗日乘数检验、豪斯曼检验、reset 一一般性检验等。般性检验等。这里只讨论设定误差的一些最常用的检验方法。这里只讨论设定误差的一些最常用的检验方法。29 基本思想：基本思想： 遗漏的相关变量应包含在随机扰动项中，那么回遗漏的相关变量应包含在随机扰动项中，那么回归所得的残差序列就会呈现单侧的正（负）相关归所得的残差序列就会呈现单侧的正（负）相关性，因此可从自相关性的角度检验相关变量的遗性，因此可从自相关性的角度检验相关变量的遗漏。漏。 从遗漏变量的模型看，可以认

21、为遗漏变量模型是从遗漏变量的模型看，可以认为遗漏变量模型是无遗漏变量模型的一个特例：被遗漏变量的系数无遗漏变量模型的一个特例：被遗漏变量的系数为为0。一、一、 dw检验检验30，dw检验的具体步骤检验的具体步骤 1. 对回归模型运用对回归模型运用ols法得残差序列法得残差序列 2. 设定设定 按遗漏解释变量的递增次序对残差序列，进行按遗漏解释变量的递增次序对残差序列，进行 排序，对排序后的残差序列，计算排序，对排序后的残差序列，计算d统计量统计量：ie22-121(-)nniiiiideee0h :,受约束回归模型1h:无约束回归模型。31 3. 3. 查查durbin-watson表，若表，

22、若 为显著，则拒绝为显著，则拒绝 原假设，受约束回归模型不成立，存在模型设原假设，受约束回归模型不成立，存在模型设 定误差，否则接受原假设，受约束回归模型成定误差，否则接受原假设，受约束回归模型成 立，模型无设定误差。立，模型无设定误差。d32对下表的数据设定总生产成本函数，准备对下表的数据设定总生产成本函数，准备 使用如使用如下三个备选模型：下三个备选模型：有（有（1）为真实模型，试用）为真实模型，试用dw法检验模型设定误法检验模型设定误差。差。 2312341iiiiiyxxxu 21232iiiyxx 123iiyx举例举例33总成本（总成本（ ）产出（产出（ ）119312226232

23、4034244452575626067274782978935091042010yx34三个模型分别代入数据回归三个模型分别代入数据回归(1)2322141.767 63.487-12.9620.939se(6.375)(4.778)(0.9856)(0.0592)(22.238) (13.285) (-13.151)(15.861)0.99830.9975dw 2.70iiii yxxxtrr 222222.383-8.02502.542 se(23.488) (9.809)(0.869) (9.468)(-0.818)(2.925) 0.92840.9079dw=1.038iiiyxxtr

24、r (2)35本例中遗漏变量已按递增次序排列，此时的本例中遗漏变量已按递增次序排列，此时的 值等于值等于 值，无需重新计算值，无需重新计算d统计量。统计量。22166.467 19.933se(19.201) (3.066)(8.752)(6.502)0.84090.82 dw = 0.716iiyxtrr ddw(3)36对上述模型的对上述模型的dw统计量的分析及查表情况如下：统计量的分析及查表情况如下：1. 模型模型(1)： 有有 =2.70，当，当 时时 =0.525， =2.016，不能表明存在显著的正相关关系，接受，不能表明存在显著的正相关关系，接受h0，表示没，表示没有遗漏的变量。

25、有遗漏的变量。2. 模型模型(2)：有：有 =1.038，当，当 时时 =0.697， =1.641。显然有显然有0.6971.0381.641，属于无法确定的区域。，属于无法确定的区域。采用修正的采用修正的 dw 检验法进行检验即扩大拒绝区域，宁可判别残检验法进行检验即扩大拒绝区域，宁可判别残差中存在正的自相关，认为也存在遗漏变量。差中存在正的自相关，认为也存在遗漏变量。ldududldnk10,3,5%dwnk10,2,5%dw37 3. 模型模型(3) ： 有有 =0.716，当，当 时，时， =0.879， =1.320 ，显然存在正的自相，显然存在正的自相 关，拒绝关，拒绝 ，表明存

26、在遗漏变量；，表明存在遗漏变量； ldudnk10,1,5%dw0h38二、拉格朗日乘数（二、拉格朗日乘数（lm）检验）检验 基本思想：基本思想：模型中遗漏的相关变量包含在随机扰动项中，因模型中遗漏的相关变量包含在随机扰动项中，因此随机扰动项或回归所得的残差序列应与遗漏的此随机扰动项或回归所得的残差序列应与遗漏的相关变量呈现出某种依存关系。相关变量呈现出某种依存关系。可以进行残差序列与相关变量的回归，在一定显可以进行残差序列与相关变量的回归，在一定显著水平下若相关变量具有统计显著性，则认为存著水平下若相关变量具有统计显著性，则认为存在遗漏变量形成的设定偏误，若相关变量不具有在遗漏变量形成的设定

27、偏误，若相关变量不具有统计显著性，则认为没有遗漏变量形成的设定误统计显著性，则认为没有遗漏变量形成的设定误差。差。39 具体步骤具体步骤 1. 对存在遗漏变量设定偏误的模型（受约束回归模型）进行对存在遗漏变量设定偏误的模型（受约束回归模型）进行回归，得残差序列回归，得残差序列 ； 2. 用残差序列用残差序列 对全部的解释变量（包括遗漏变量）进行回对全部的解释变量（包括遗漏变量）进行回归，得可决系数归，得可决系数 ； 3. 设定设定 : 受约束回归模型受约束回归模型 ：无约束回归模型。：无约束回归模型。 在大样本情况下，构造检验统计量在大样本情况下，构造检验统计量 ， 渐近地遵从渐近地遵从 （约

28、束个数）约束个数） 4. 进行显著性检验的判断：若进行显著性检验的判断：若 (约束个数约束个数), 则拒则拒绝绝 ，认为受约束模型不成立，存在遗漏变量；否则，接，认为受约束模型不成立，存在遗漏变量；否则，接受受 ，认为受约束模型成立，无遗漏变量。，认为受约束模型成立，无遗漏变量。 nr22r2h1nr22nr2h0ieh0h0ie40第四节第四节 案例分析案例分析问题：问题： 以引子中所提出的问题为例，分析影响中国进口以引子中所提出的问题为例，分析影响中国进口量的主要因素（数据见教材第量的主要因素（数据见教材第255256页）。页）。 设定模型设定模型 （1） 其中：其中： 是进口总额，是进口

29、总额， 是国内生产总值。是国内生产总值。 分析模型是否有变量设定误差，进行变量设定误分析模型是否有变量设定误差，进行变量设定误差检验。差检验。imgdpttt = + + u12imtgdpt41 有人认为，货物与服务的进口量受到一国的生产规模、有人认为，货物与服务的进口量受到一国的生产规模、货物与服务的进口价格、汇率等其他影响因素，而不货物与服务的进口价格、汇率等其他影响因素，而不能只仅用能只仅用gdp来解释商品进口的变化。因此，设定的来解释商品进口的变化。因此，设定的回归模型应该为：回归模型应该为： 其中：其中：gdp 为国内生产总值，为国内生产总值， 为为 gdp 的线性函的线性函数；数

30、；exchange 为美元兑换人民币的汇率，为美元兑换人民币的汇率， 为为 exchange 的线性函数。的线性函数。 如果是这样，回归模型（如果是这样，回归模型（1）的设定式中可能遗漏了变）的设定式中可能遗漏了变量量 gdp、exchange以及两者的线性组合。那么两者的以及两者的线性组合。那么两者的线性组合是否被遗漏的重要变量呢？线性组合是否被遗漏的重要变量呢？ 123im(gdp )(exchange )tttt= + f+ g+ u (2) (gdp) fexchangeg()4205000100001500020000250003000035000020000400006000080

31、000100000 120000gdpim 基本关系图基本关系图imgdpf ()43对模型对模型(1)(1)进行回归进行回归, ,有回归结果：有回归结果：im-1067.3370.2307gdpiiie220.92300.9195dw0.5357263.6657rrf se (792.2620) (0.0142) (-2.0288) (16.2378)t44-6000-4000-20000200040006000800010000808284868890929496980002im residuals显然，存在自相关现象，其主要原因可能是建模显然，存在自相关现象，其主要原因可能是建模时遗漏了

32、重要的相关变量造成的。时遗漏了重要的相关变量造成的。作模型作模型(1)回归的残差图回归的残差图 451. dw检验检验 模型（模型（1）的）的 =0.5357，表明存在正的自相关。，表明存在正的自相关。 由于遗漏变量由于遗漏变量exchange或或 gdp 已经按从小到大顺已经按从小到大顺序排列，因此，无需重新计算序排列，因此，无需重新计算d统计量。对统计量。对 =24 , =1， 5%的德宾的德宾-沃森沃森 d统计量的临界值为统计量的临界值为 =1.273和和 =1.466, 表明存在显著的遗漏变量现表明存在显著的遗漏变量现象。象。klduddwn46dependent variable:

33、immethod: least squaresdate: 08/06/05 time: 23:41sample (adjusted): 1981 2003included observations: 23 after adjustmentsvariable coefficient std. error t-statisticprob. c -224.3632 1892.132 -0.1185770.9069gdp 1.148259 0.151433 7.5826060.0000gdp(-1) -0.822444 0.147359 -5.5812130.0000exchange -4.29074

34、6 8.348744 -0.5139390.6135exchange2 -0.018637 0.008353 -2.2311620.0386r-squared 0.978691 mean dependent var 8434.222adjusted r-squared 0.973956 s.d. dependent var 9025.326s.e. of regression 1456.525 akaike info criterion 17.59515sum squared resid 38186370 schwarz criterion 17.84200log likelihood -19

35、7.3443 f-statistic 206.6799durbin-watson stat 1.962659 prob(f-statistic) 0.000000其中，其中，exchange系数的统计意义不显著，剔除。再次系数的统计意义不显著，剔除。再次回归，结果见下页表。回归，结果见下页表。47dependent variable: immethod: least squaresdate: 08/06/05 time: 23:53sample (adjusted): 1981 2003included observations: 23 after adjustmentsvariable co

36、efficient std. error t-statisticprob. c -1159.179 511.0396 -2.2682760.0352gdp 1.142897 0.148119 7.7160700.0000gdp(-1) -0.815842 0.143928 -5.6684200.0000exchange2 -0.022569 0.003291 -6.8578440.0000r-squared0.978378 mean dependent var 8434.222adjusted r-squared 0.974965 s.d. dependent var9025.326s.e.

37、of regression1428.041 akaike info criterion17.52277sum squared resid38746720 schwarz criterion17.72024log likelihood-197.5118 f-statistic286.5846durbin-watson stat 2.047965 prob(f-statistic)0.000000可以认为，这时模型设定无变量设定误差。可以认为，这时模型设定无变量设定误差。482. lm检验检验 按照按照lm 检验步骤，首先生成残差序列（用检验步骤，首先生成残差序列（用ee表表示），用示），用ee对全部解释变量（包括遗漏变量）进对全部解释变量（包括遗漏变量）进行回归，有行回归，有: 49再计算再计算查表，查表， 显然，显然， ，接受无约束回归模