模型选择：标准与检验.ppt

1、第二部分,实践中的回归分析,基本假定违背：不满足基本假定的情况。,（1）模型设定有偏误；所选模型是正确设定的 （2）解释变量之间存在多重共线性； （3）随机误差项序列存在异方差性； （4）随机误差项序列存在序列相关性。,所选模型是正确设定的,解释变量之间不存在完全线性关系,误差项方差为常数,误差项之间不相关,基本假定,基本假定,基本假定,基本假定,第七章 模型选择：标准与检验,一、模型设定误差概述 二、模型设定偏误的后果 三、模型设定偏误的检验,一、模型设定误差概述,1、模型设定误差的含义,2、设定误差产生的原因,3、设定误差的类型,4、“好的”模型具有的性质,1、模型设定误差的含义,模型中被

2、解释变量和解释变量之间的关系设定有误,造成模型设定误差主要源于: (1) 解释变量选取的错误，主要包括遗漏相关变量和多选无关变量， (2)采用了错误地模型函数形式； (3)错误地设定了误差项的形式。,实践中的模型设定误差可能源于上述一个或多个原因。,7模型选择：标准与检验Model selection: criteria and tests,(1) “好的”或者“正確的”模型有那些性质？ (2) 假设一个无所不知的经济计量学家已经建立了一个“正確”的模型用以分析某種经济现象。然而，由於数据的可獲得性，出於对成本的考虑，或者是疏忽等其他原因，研究人员使用了另一个模型，因此，与“正確”模型相比，就

3、犯了设定误差。那么，在实践中可能会犯哪幾種类型的设定误差呢？ (3) 设定误差的後果是什么？ (4) 如何诊断设定误差？ (5) 如果已经犯了设定误差，可以採取哪些补救措施重新回到“正確的”模型？,7.1 “好的”模型具有的特性The attributes of a good model,简约性(parsimony)。一个模型永远也无法完全把握现实；在任何模型的建立过程中，一定程度的抽象或者简化是不可避免的。简单优於複杂(Occams razor寓意)或者节俭原则表明模型应儘可能地简单。 可识别性(identifiability)。即对给定的一组数据，估计的参数必须具有惟一值，或，每个参数只有

4、一个估计值。,“好的”模型具有的特性,拟合优度(goodness of fit)。回归分析的基本思想是用模型中所包括的解释变量来儘可能地解释被解释变量的变化。比如我们可用校正的样本决定系数R2度量拟合优度，R2越高，则认为模型就越好。,“好的”模型具有的特性,理论一致性(theoretical consistency)。无论拟合度有多高，一旦一个或多个系数的符号有误，就不是一个好模型。因而，在某種商品的需求函数中，如果价格系数为正(需求曲线的斜率为正)，或者如果收入系数为负(除非这一商品为劣等商品) ，即使模型的R2值很高， 回归结果仍值得怀疑。简言之，在构建模型时，我们必须有一些理论基础来支

5、撑这一模型，“没有理论的测量”经常能够导致荒唐的结果。,观察渗透理论theory-laden observation,美国科学哲学家汉森(Norwood Russell Hanson (19241967) )提出的著名命题。这个命题指出了我们的任何观察都不是纯粹客观的，具有不同知识背景的观察者观察同一事物，会得出不同的观察结果。该理论破坏了逻辑实证主义所追求的科学合理性。 逻辑实证主义坚信， 科学是客观活动，理性标准一定是可被经验证实并符合逻辑规则的。 描述一下你此时的状态？此问有解否？,预测能力(predictive power)。米尔顿弗里德曼：“对假设(模型)的真实性惟一有效的检验就是将

6、预测值与经验值相比较”。 因而，在货币主义模型和凯恩斯模型两者之间选择时，根据这一标准，我们应该选择理论预测能够被实际经验所验证的模型。 弗里德曼以演绎推理为核心，强调理论的有效性并不依赖于其假设，而是要看理论本身是否具有预测力，一个理论是否科学，不是从其假设与现实的相符程度来判断，而是从其预测的结论和现象的相符程度来判断。他巧妙地将抽象与具体结合起来，使新古典主义经济学有了较牢固的方法论根基。,7.2 设定误差的类型Types of specification errors,遗漏相关变量：“过低拟合”模型 包括不相关变量：“过度拟合”模型 不正確的函数形式 度量误差,对所研究问题的相关理论了

7、解不深,未关注本领域前期的研究成果,在研究中缺乏相关数据,数据测量时有误差,2、设定误差产生的原因,3、设定误差的类型,遗漏相关变量,采用了错误的函数形式,错误地设定了误差项的形式,多选无关变量,4、“好的”模型具有的性质,简约性,可识别性,拟合优度,理论一致性,预测能力,模型是对现实的抽象，模型应尽可能简洁,每个参数只有一个估计值,对样本数据的拟合程度较好,参数估计值的符号与理论相符,预测值与经验值检验模型的有效性，即具有良好的预测能力,二、模型设定偏误的后果,模型设定出现偏误时，模型估计结果会与“实际”有偏差。这种偏差的性质与程度与模型设定偏误的类型密切相关。,7.3遗漏相关变量：“过低拟

8、合”模型Omisson of relevant variable bias: “underfitting” a model,遗漏变量X3可能会产生如下後果： (1) 如果遗漏变量X3与模型中的变量X2相关，则a1和a2是有偏的biased；也就是说，其均值或期望值与真实值不一致。,设有一物体受三力如右，可以预期，它的运动方向是前方稍偏左 如果没有看到a，就会觉得b、c的作用显得很怪,a,b,c,采用遗漏相关变量的模型进行估计而带来的偏误称为遗漏相关变量偏误（omitting relevant variable bias）。,设正确的模型为 Y=0+1X1+2X2+ 却对 Y=0+ 1X1+v

9、进行回归，得,1、遗漏相关变量偏误,将正确模型 Y=0+1X1+2X2+ 的离差形式,代入,得,(1)如果漏掉的X2与X1相关，则上式中的第二项在小样本下求期望与大样本下求概率极限都不会为零，从而使得OLS估计量在小样本下有偏，在大样本下非一致。,“过低拟合”模型,(2) a1和a2是不一致的inconsistent，亦即，无论样本容量有多大，偏差都不会消失。无法实现“多劳多得” “a1和a2是不一致”应理解为“不符合一致性” 一致性：样本容量扩大，误差变小 (3) 如果X2与X3不相关，则b32为零。则根据式(11-3)可以看出a2是无偏的和一致的。 X2与X3完全不相关的情况非常罕见,“过

10、低拟合”模型,(4) 根据式(11-3)得到的误差方差是真实误差方差的有偏估计量。 (5) 通常估计的a2的方差是真实估计量b2的方差的有偏估计量。即使是b32等於零(也即X2与X3不相关)，这一方差仍然是有偏的 (6) 通常的置信区间和假设检验过程也就不再可靠。,(2)如果X2与X1不相关，则1的估计满足无偏性与一致性；但这时0的估计却是有偏的。,由 Y=0+ 1X1+v 得,由 Y=0+1X1+2X2+ 得,如果X2与X1相关，显然有,如果X2与X1不相关，也有,小结,1、遗漏相关变量,正确的模型为 Y=0+1X1+2X2+ 错误设定的模型为 Y=0+ 1X1+v,(1)若X2与X1相关，

11、OLS估计量在小样本下有偏、大样本下非一致。,(2)若X2与X1不相关，1的估计量无偏、一致，然0的估量有偏。,(5) 通常的置信区间和假设检验过程不再可靠，置信区间会变宽，会更频繁接受零假设。,(3)错误模型的误差方差是真实误差方差的有偏估计。,(4) 的方差是真实估计量 的方差的有偏估计,7.4 包括不相关变量：“过度拟合”模型Inclusion of irrelevant variables: “overfitting” a model,“过度拟合”(包括非必须变量)的逻辑思想是包括一个或多个不必要变量也不会有太大的影响非相关变量是指没有具体的理论表明应该把这些变量包括到模型中。 如果经

12、济理论不完善，这種现象会發生。,包含无关变量偏误（including irrelevant variable bias）：采用包含无关解释变量的模型进行估计带来的偏误。,设 Y=0+ 1X1+v (*) 为正确模型，但却估计了 Y=0+1X1+2X2+ (*),如果2=0，则(*)与(*)相同，因此，可将(*)式视为以2=0为约束的(*)式的特殊形式。,2、包含无关变量偏误,用OLS法估计模型Y=0+1X1+2X2+ 由于所有的经典假设都满足，因此 ：,Y=0+ 1X1+v 中X1的方差:,Y=0+1X1+2X2+ 中X1的方差:,当X1与X2完全线性无关时:,否则：,（1）OLS估计量无偏且

13、一致；误差项方差的估计量正确。,（3）但是，OLS估计量无效，不具有最小方差性。,（2）建立在t、F检验基础上的置信区间和假设检验有效。,OLS估计量是线性无偏估计量，但非最优，不再有效。,小结：,当选取了错误函数形式并对其进行估计时，带来的偏误称错误函数形式偏误（wrong functional form bias）。 容易判断，这种偏误是全方位的。,例如，如果“真实”的回归函数为,却估计线性式,显然，两者的参数具有完全不同的经济含义，且估计结果一般也是不相同的。,3、错误函数形式的偏误,(1)“不正確”模型OLS估计量是无偏的(也是一致的)。 (2) 从回归方程(7-10)中所得的方差的估

14、计量是正確的。 (3) 标准的置信区间和假设检验仍然是有效的。 (4) 但回归方程(7-10)中估计的a却是无效的 各个回归系数的方差变大了，对真实参数的推断就没那么精確，因为置信区间扩大了，容易冤枉好人 OLS估计量是线性无偏的，但非最优BLUE,7.6 度量误差errors of measurement,数据的度量误差：臆断的(伪造)、外推的、内插的(使用模型推测)、围绕某个系统样式(系统样式指的是产生与某種规则) we assume that the data on these variables are “accurate”; they are not guess estimates,

15、 extrapolated, interpolated, or rounded off in any systematic manner, 如果因变量是度量错误的数据，眼花了 如果自变量是度量错误的数据，晕了,4、度量误差,应变量中的度量误差引起的后果不太严重。,解释变量中的度量误差引起的后果非常严重。,建议使用工具变量或替代变量：与原始变量X高度相关，但与回归误差项无关，且不存在度量误差。,若不同时期变量的定义不同，则需要确保数据的可比性。,实践中的建议：,确保X的数据尽可能准确，不免记录、舍入和遗漏误差。,三、模型设定偏误的检验,1、检验是否含有无关变量,可用t 检验与F检验完成。 检验的

16、基本思想:如果模型中误选了无关变量，则其系数的真值应为零。因此，只须对无关变量系数的显著性进行检验。 t检验：检验某1个变量是否应包括在模型中； F检验：检验若干个变量是否应同时包括在模型中 。,2、检验是否有相关变量的遗漏或函数形式设定偏误,（1）残差图示法,残差序列变化图,（a）趋势变化 ：模型设定时可能遗漏了一随着时间的推移而持续上升的变量,（b）循环变化：模型设定时可能遗漏了一随着时间的推移而呈现循环变化的变量,（c） 模型函数形式设定偏误时残差序列呈现正负交替变化,图示：一元回归模型中，真实模型呈幂函数形式，但却选取了线性函数进行回归。,（2）一般性设定偏误检验,但更准确更常用的判定

17、方法是拉姆齐(Ramsey)于1969年提出的所谓RESET 检验（regression error specification test）。 基本思想： 如果事先知道遗漏了哪个变量，只需将此变量引入模型，估计并检验其参数是否显著不为零即可； 问题是不知道遗漏了哪个变量，需寻找一个替代变量Z，来进行上述检验。 RESET检验中，采用所设定模型中被解释变量Y的估计值的若干次幂来充当该“替代”变量。,（1）估计。先估计原始模型得到拟合值。,（4）检验和判断。若仅增加一个“替代”变量，可采用t检验；若增加多个“替代”变量，可采用“受限最小二乘”的F检验。,（2）观察残差与拟合值的关系，决定引入拟合值

18、的若干次进入模型作为“替代变量”。,（3）再估计。估计引入了“替代变量”的新模型。,RESET 检验,RESET 检验评价,优点：简单易行。,缺陷：可用于判断模型设定是否错误，却不能帮助我们选择正确模型。,因此，该检验主要是诊断工具。,例：对商品进口进行研究,估计了中国商品进口M与GDP的关系，然而，由于仅用GDP来解释商品进口的变化，明显地遗漏了诸如商品进口价格、汇率等其他影响因素。在此，采用RESET检验考察建模时是否遗漏了重要的相关变量。,（1）用原回归模型估计出商品进口序列,R2=0.9484,（-0.085） （8.274） （-6.457） （6.692） R2=0.9842,在=5%下，查得临界值F0.05(2, 20)=3.49,判断：拒绝原模型与引入新变量的模型可决系数无显著差异的假设，表明原模型确实存在遗漏相关变量的设定偏误。,（3）在线性模型和对数模型之间选择：MWD检验,H0:线性模型：Y是X的线性函数,H1:对数线性模型：Y是X（或LnX）的线性函数,估计线性模型，得到Y的拟