计量经济学第三章第3节多元线性回归模型的显著性检验

1、第三章多元线性回归模型第三节显著性检验及预ILi一、拟合优度检验二、变量的显著性检验三、回归方程的显著性检验四、利用方程进行预测一、多元线性回归模型的统计检验 类似一元回归，多元回归同样可以用拟合优度M度量样本 回归方程拟合样本观察值的程度。R2越接近仁拟合的越好。(1) 总离差平方和分解 设多元线性回归模型为：Yi =b0 +®Xii +b2X2i +QX 灯 +吆 样本回归方程为：£ =&0 +&x“ +b2X2i +&x方我们将匕与其平均值Y之间的离差分解如下 乙m门可得总的离差平方和分解式为工愆-汀二工（J； 一汀+工&"丿

2、2TSS=ESS+RSS11/（2）拟合优度（样本决定系数，可决系数）心竺=1-竺TSSTSS(3)拟合优度(样本决定系数)的计算- . 2 2因为，TSS=（Z丫尸二工玲厂二丫匕厂t?ss 二工（zTri> = Y,Y-B,XY（书P50,式（3.20）小2ESS =TSS-RSS = EXY - nY所以,宀等- 2B'X'Y-nY92YrY - nY（4）拟合优度的特性拟合优度给出了解释变量的改变导致被解释变量改变 的程度（百分比），吊越大，拟合的越好。但在多元回归 回归模型中，拟合优度有这样的特点：如果模型增加 一个新的解释变量，TSS不会改变，但是ESS将会增

3、加，即吊随着解释变量个数的增加而变大。详细证明见下页（选讲）*选讲：残差平方和RSS的特性 命题：残差平方和RSS是解释变量个数k的减函数。因此，样本决定系数以是解释变量个数k的增函数。RSS* =k证明：k元回归模型的残差平方和 工分=工（乙-（厶0+k增加一个解释变量，残差平方和变为 _RSS z =工（乙 _（4 + AXh灯考虑RSSk和RSSk+1取得极小值的的情况。（在 利用最小二乘法求参数估计值时,两者都应分别 达到极小值。）而RSSk取到极小值相当于RSSk+1在4+1 =o的条件下取极小值。所以，RSSk > RSSk+lTSSr2 = RSSk v _ RSSg k

4、_ TSS 条件极值和无条件极值的关系是：条件极小值 大于等于无条件极小值；条件极大值小于或等于无 条件极大值。例：从全班同学中选出一个个子最矮的同学。 在不包括班长的情况下挑选出最矮的身高，一定高 于或等于班长参加挑选时最矮的身高。后者是条件极小值。拟合优度的特性会给人一种错觉:要使模型模拟的好，只要增加解释变量即可!但是现实情况是：在多元线性回归中，由增加变量 个数引起的拟合优度增大与拟合的好坏没有直接关系。因为新增加的解释变量即使和被解释变量不相关,解释变量的增加也可以导致残差的减小，从而导致拟合优度的增大,这显然不合理。必须对拟合优度加以调整。二调整的拟合优度A）拟合优度（可决系数）的

5、调整思路R2 =ESSTSSRSSTSS拟合优度中的残差平方和RSS随着解释变量个数的增加而减少，可以将该式除以一个随变量个数增加 而减少的因子，这样可以抵消单纯由变量个数增加导 致的RSS的减少的影响。RSS的自由度n-k-1可以胜任这一角色。总变差7SS并不随解释变量个数的增加而改变， 但考虑拟合优度取值的幅度和相对性，将75S除以不 随解释变量个数变化的自己的自由度ml。,）调整后的拟合优度（样本决定系数）斤2_ RSSRn_k_b1 .RSS n-k-19 TSS即，R2 =1_(1_人2卫_"二1_n-k-1说明：（1）增加一个解释变量，残差平方和RSS会减小，R?会增大，

6、从而1-R2会减小，但是占L会增大。n-k-1“"一1 ” 与 “1-R2? -增一减，此消傀从而保证斤2不会随解释变量个数的变化产生大的波动 这样就消除了公对解释变量个数的较强依赖。解释变量的增加，可能导致样本回归方程与样本观察值拟合程度虚假的提高，调整的拟合优度, 是剔除由于解释变量个数增加导致拟合优度数值虚 假提高，而拟合程度并没有实际提高的情况。7(2) 当k=0时，即只有截距项式时，R2=R2(3) 当£>0时，R2>R?9(4) 疋会出现负值，当R2<占时，会岀现疋vO的情况 此时，将理解M2=o(5) 对调整后拟合优度的补充说明:RSS/(n

7、-k-l)n-1 RSS n-k-TSS当增加一个对被解释变量有较大影响的解释变量时, 残差平方和减小的比n-k-1减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。如果增加一个对被解释变量没有多大影响的解释变量, 残差平方和减小没有nk-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量, 可以将其剔除。(6) 修正的拟合优度总结解释变量的增加，有可能导致样本回归方程与 样本观察值拟合程度的提高，也会由于变量的个数 的增加导致拟合优度虚假的提高。 调整后的拟合优度，是剔除由于解释变量个数 增加导致拟合数值虚假提高，而拟合程度并没有实 际提高的部分。由此可

8、见，修正的拟合优度看比一般意义的拟合优度F更准确的反映了解释变量对被解释变量的影响 程度。因此在一般情况下修正拟合优度疋比尺2应用更广。*赤池信息准则和施瓦茨准则为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有：赤池信息准则(Akaike information criterion, AIC)nn施瓦茨准则(Schwarz criterion, SC)人厂i e'ek 1AC = In1Innn n这两准则均要求仅当所增加的解释变量能够减少 AIC值或AC值时才在原模型中增加该解释变量。举例说明：拟合优度、修正拟合优度、与 增加解释变量之间的关系。在第二章第四节讲

9、义中，我们考察中国居民收入 与消费支出的关系，建立了以人均国内生产总值 为解释变量X,以人均消费支出为被解释变量Y的 一元线性回归模型。数据采用19782000年23年的人均国内生产总值X和人均消费支出丫的时间序列数据，且都釁1990年的不变价，且剔除了物价上涨因成 前。IF 二使用的数据年份人均消费支 出Y1I >> 1年份人均消费支出Y人均国內牛人均国內牛1=1 r 工产总值1=1 r 工产总值1978395.8675.119907971602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.97

10、92.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.51269.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9Vi ew | Frocs | Obj sets | Frint | Name | Fi-eeze | Es

11、;tirn：at e | Forecast Stats | Re si ds |Dependent Variable: YMethod: Least SquaresDate: 04/10/13 Time: 16:51Sample: 1978 2000Included observations: 23VariabI eCoefficientSt cl. Error t-StatisticProb.C201.118914.8840213.612410.0000X0.3861800.00722253.474710.0000R-squared0.992710Mean dependent var905,

12、3304Adjusted Rsquared0.992363dependent var380.6334S.E. of regression33.26450Akaike info criterion9.929800Sum squared resid23237.06Schwarz criterion10.02854Log likelihood-112.1927F-statistic2859.544Durbin-Watson stat0.550636Prob(F-statistic)0.000000人们的消费具有一定的惯性，有些耐用品和固定资产可以连续使用一年以上。所以，今年的消费和今 年的人均国内生

13、产总值有关，也和去年已经发生了的 消费支出有关，这里建立消费支出模型为：£ = 4+4-i+&Z2其中r为当前期变量，r-k称为k期滞后变量。1) 使用软件估计模型将之前已经建立的Workfile文件打开点击菜单中的''Quick"T"Estiinate Equations"在对话框中输入：y c x y(-i)y c x y(-l) y(2)字母之间用空格分隔。注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。使用斤期滞后变量，数据将损失斤个样本观察值,例如:序号yY(-l)Y(-2)Y(

14、-3)200032001432002543200365432004765420058765200698762007109872008111098回冈凰Equation： UNTITLED Workfile： EX50View I Procs I Objects) Print | Hama I Freeze I Estimate | Forecast |s tats I Resids |Depe ndent Variable: YMethod: Least SquaresDate: 09/21/06 Time: 10:47Sample(adjusted): 1979 2000In eluded

15、observati oris: 22 after adjust! ng en dpoi ntsVariableCoefficientStd. Errort-StatisticProb.C120.725336.513743.3062990.0037X0.2213590.0609733.6304620.0018Y(-1)0.4514080 仃 03182.6503800.0158R-squared0.995403Mean dependent var928.4909Adjusted R-squared0.994919SD dependent var372.6339S.E. of regression

16、26.56264Akaike info criterion9.523012Sum squared resid13405.90Schwarz criteri on9.671791Log likelihood-101.7531F-statistic2056.887Durbin-Watson stat1.278902Prob(F-statistic)0.000000口回冈Equalion: UNTITLED Workfile: UHTITLED|Obj setsIPrintNairie | FreezeE e t i m at eForecast|Stats|Reside|Vi ewI ProcsD

17、ependent Variable: YMethod: Least SquaresDate: 10/20/09 Time: 15:49Sample(adjusted): 1980 2000Included observations: 21 after adjusting endpointsVariableCoe fficientStd. Errort-StatisticProb.C138.943140.921743.3953370.0034X0.2430270.0647793.7516330.0016Y(-1)0.6304060.2656172.4662100.0246V(-2)-0.2614

18、990.185906-1.4066190.1776R-squared0.995694Mean dependent var951.8952Adjusted R-squared0.994934S.D. dependent var364.8911S.E. of regression25.97037Akaike info criterion9.521433Sum squared resid11465.82Schwarz criterion9.720389Log likelihood-95.97504F-statistic1310.404Durbin-Wat sori stat1.556367Prob(

19、F-statistic).2）模型的估计表达式y = 201.1189 + 0.3862XYt =120.7253 +0.2214X, +0.4514£ =13&943 + 0.243X, +0.630 -0.2612一元、二元模型的系数均大于o,符合经济意义，三元模型系数的符号与经济意义不符。用一元回归模型的预测值是1758. 7,二元回归模型的预测值是1767. 4, 2001年的实际值是1782. 2o 一元、二元模型预测的绝对误差分别是23.5、14. 803）三个模型的拟合优度与残差元：7?2=0.9927, Ex 二元：疋=0.9954, E2 三元：7?2=0.

20、9957,昆2 Z 2 Z 2 2eEeEss=23237=13405= 9707从上式可以看出：随着自变量的个数增加，残差明显的减少，残差平方和越小，拟合程度越大。其中拟合程度的增大有解释变量对被解释变量 有效部分，也有变量个数增加导致虚假提高的部分。4) 拟合优度与修正拟合优度的比较一元回归模型：二元回归模型:三元回归模型:疋=0.9927 R2 =0.9924疋=0.9954 R2 =0.994919R2 = 0.9957 氏$ = o.994934口 二元回归相对于一元回归，拟合优度增加了0. 0027,修 正的拟合优度增加了0. 0025,二者的差0. 0002即为由于增加解 释个数

21、变量导致的拟合程度虚假提高的数值。值很小，甚至可以忽略，表明该变量和Y不相关,由于增加的变量y (-2)导致的修正拟合优度增加的可以将其从模型中剔除.三 回归方程的显著性检验多元回归，我们关心被解释变量是不是和一组解 释变量存在线性关系。如果总体回归模型解释变量 的系数同时为0,表明被解释变量与解释变量之间不 存在线性关系。方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。即对多元线性回归模型Yt =b0+blXli +-+bkXki + a： （i = 1,，乃）所有解释变量的系数b,b”,S是否同时为0的显 著性检验。如果不同时为0,则被解释变量

22、与这组 解释变量之间存在线性关系；反之则被解释变量 与这组解释变量之间不存在线性关系。方程的显著性检验的原假设是所有解释变量的系数同时为0,即：bx= b2=. = bk=0o只要存在一个不为 0的巧就表明模型的线性关系是显著的。类似于一元线性回归模型的方程显著性检验此处也用F检验法检验回归方程的显著性F检验的思想来自于总离差平方和的分TSS二ESS+RSS回归平方和ESS艺y2是解释变量X的联合体对被解 释变量Y的线性作用的结果，考虑比值ESS /RSS = E y,2 /E e；如果这个比值较大，则X的联合体对Y的解释程度 高，可认为总体存在线性关系，反之总体上可能不存 在线性关系。因此,

23、可通过该比值的大小对总体线性关系进行推断。以下为具体的假设检验过程第一步:提出假设禺"仏二訥=0耳卫不全为0第二步:第三步:构造F统计量F=JESS/kRSS/(nl)F(k,n-k-l)做出判断对于给定的显著性水平和自由度(k, n-k-1),在F分布表中查出相应的临界值© (k,n-k-1)如果F>F,k,n-k-1),则拒绝原假设,此时认为回归方程显著成立。 如果F<Fa(k,n-k-1),则接受原假设, 此时认为回归方程无显著意义。四 回归系数的显著性检验回归方程显著成立，并不意味着每个解释变量对被解释 变量都是重要的，每个解释变量对于被解释的影响有大有

24、小, 各不相同。如果某个解释变量Xi对Y影响不重要，可以考虑将 其从模型中剔除，重新建立更简洁有效的模型。变量多意味 着增加建模难度及成本，剔除对被解释变量影响不显著的解 释变量，具有重要的意义。如果某变量对Y的影响不重要，需要将其剔除，此时，可以认为其前面的系数b=0。系数的显著性检验，就是对各个变量的系数加是否显著(1)提出假设 原假设ho： bi=o,(i=ak) 备择假设 Hiz b.丰 0,( i = 0,1-k )I(2)构造统计量参数估计量的方差-协方差矩阵厂(旬=a2(X'XT 设矩阵(XX)_1主对角线上的元素为c，则参数 的方差为 Varb =(y2cjj且由样本回

25、归方程参数的无偏性知E(b, = bj.仏N®q2勺)(3)做出判断对于给定的显著性水平和自由度n-k-1，在t分布表中查出相应的临界值匚(n-k-1)如果,|r|>(n-k-l)2,则拒绝原假设，接受备择假设 此时，认为b,显著的不为0.如果,|r| <t (n-k-1),贝0接受原假设，即b,显著的等于0 参数及回归方程显著性检验的例题，可以 参考本节中的二元及三元线性回归模型进 行说明。附：Eviews回归分析结果如下回冈凰Equation： UNTITLED Workfile： EX50View I Procs I Objects) Print | Hama I

26、Freeze I Estimate | Forecast |s tats I Resids |Depe ndent Variable: YMethod: Least SquaresDate: 09/21/06 Time: 10:47Sample(adjusted): 1979 2000In eluded observati oris: 22 after adjust! ng en dpoi ntsVariableCoefficientStd. Errort-StatisticProb.C120.725336.513743.3062990.0037X0.2213590.0609733.63046

27、20.0018Y(-1)0.4514080 仃 03182.6503800.0158R-squared0.995403Mean dependent var928.4909Adjusted R-squared0.994919SD dependent var372.6339S.E. of regression26.56264Akaike info criterion9.523012Sum squared resid13405.90Schwarz criteri on9.671791Log likelihood-101.7531F-statistic2056.887Durbin-Watson sta

28、t1.278902Prob(F-statistic)0.000000口回冈Equalion: UNTITLED Workfile: UHTITLED|Obj setsIPrintNairie | FreezeE e t i m at eForecast|Stats|Reside|Vi ewI ProcsDependent Variable: YMethod: Least SquaresDate: 10/20/09 Time: 15:49Sample(adjusted): 1980 2000Included observations: 21 after adjusting endpointsVa

29、riableCoe fficientStd. Errort-StatisticProb.C138.943140.921743.3953370.0034X0.2430270.0647793.7516330.0016Y(-1)0.6304060.2656172.4662100.0246V(-2)-0.2614990.185906-1.4066190.1776R-squared0.995694Mean dependent var951.8952Adjusted R-squared0.994934S.D. dependent var364.8911S.E. of regression25.97037A

30、kaike info criterion9.521433Sum squared resid11465.82Schwarz criterion9.720389Log likelihood-95.97504F-statistic1310.404Durbin-Wat sori stat1.556367Prob(F-statistic).五利用回归方程进行预测对于多元回归模型乙=b0 +bXu +b2X2i+bkXki +uj=XiB+ui其中，X.= a, Xi，X2,，XQ ,B= （b°,b,b/ 根据样本观测值（x“，, i二1,2,n, 利用最小二乘法，求得样本回归方?£

31、Y.=Xz.B所谓预测，就是给定解释变量某一个特定值X。二（1兀°, X和XQ利用回归方程对Y的值进行估 计。同一元的相同，预测方法是点预测和区间预测(1)点预测将解释变量的一个特定值X。代入回归方程中，便得到Y的一个相对应的预测值Y0=X0B并就称为被解释变量Y的一个“点预测”注：利用回归方程进行点预计，所得的预测值与真值的 误差可能会比较大。这是因为，一方面回归方程的系数是有样本求的，自然会有抽样误差；另一方面 上述预测时，使模型中的随机项取得了它的 际上可能不是0。因此有必要考虑区间预测。(2) 区间预测(对个别值Y。的预测)类似构造参数的区间估计一样，构造对丫的预测置信 区间

32、。命题：预测误差蛉服从正态分布勺N(O,b2(l + Xo(X%TX丿丿(证明略)(1)构造t统计量(2)确定临界值对于给定的显著性水平和自由度n-k-1,在t分布表中 查岀相应的临界值ta(n-k-l)22匕的置信度为9的置信区间为乙 _/（农 _£_1）&（幺0）乙 V 乙 +/（_£_1）&（幺0）2即为：-tJn-k-）Se/+XQ（XX-1 ）X；,Yo+tJn-k-）Seyll + Xo（XX- ）X六 多元线性回归分析实例问题：研究影响中国税收收入增长的主要原因，分析 中央和地方税收收入的增长规律，预测中国税收未来 的增长趋势。影响税收收入增长

33、的因素很多，其主要因素可能有:(1)从宏观经济看，经济整体增长是税收增长的基本源泉。(2)公共财政的需求，税收收入是财政收入的主体， 社会经济的发展和社会保障的完善等都对公共财政提出 要求，因此对预算支出所表现的公共财政的需求对当年 的税收收入可能会有一定的影响(3) 物价水平。我国的税制结构以流转税为 主，以现行价格计算的GDP等指标和经营者的 收入水平都与物价水平有关。(4) 税收政策因素。由于财税体制的改革难以量化，而且1985年以后财税体制改革对税收增长影响不是很大，可暂不考虑税制改革对税收增长的 影响。选择包括中央和地方税收的“国家财政收入”中的"税q 收入”作为被解释变量

34、，以反映国家税收的增长；选择“国内生产总值（GDP） ”作为经济整体增长水平的代 表；选择中央和地方“财政支出”作为公共财政需求的 代表；选择“商品零售物价指数”作为物价水平的代表。所以解释变量设定为可观测的“国内生产总值”、“财政支出”、“商品零售物价指数”等变量。设定的多元线性回归模型为：Yi =b° +biX” +b2x2. +b3x3. + 终BcEE1年檢税收收入T（名元）财政支出工2（亿元）商品零售价格抬善S 1321978519.283624.101122.09100.731979537.824033 21281.7910241980571.74517.81228.83

35、10651981S29.894862.41138.411102.461982700.025294.71229.981101.971953775.595934.51409.52101.581984947.3571711701.02102.8919852040.798964.42004.25108.81019862090.7310202.22204.9111061119872140.3611962.52262.18 1107.31219882390.4714928.32491.211118.51319892727,416909.22823.781117.81419902821.8618547.93

36、083.59I102.11519912990.1721617.83386.621102.91619923296.9126638.13742.2105.41719934255.334634,44642.3113.21819945126.8846759.45792.62121.71919956038.0458478116823.721114.82019966909.8267884.67937.551106.12119978234.0474462.69233.561100.82219989262.878345.210798.18197.423199910682.5882067.513187.6797

37、24200012581.5189468.115886.50198.525200115301.3897314.818902.58I99.22620021T636.45104790.622053.1598. TEquation Specification-Equation specificationDependent variable followed by list of regressors including ARMA and PDL terms, OR an explicit equation like Y=c(1 +0(2.YCX1 X2X3|-Estimation settingsMe

38、thod: |LS - Least Squares (NLS and ARhdA)Sample:1978 2002CancelOotions Equation: UWTITLED¥orkfile= UWTITLED口回冈Vi ew | Fr ocs | Obj eictw | Pr in t | Name | Freeze | Es;t ima t 已 | ForecastSt ats | Re si ds |Dependent Variable: YaMethod: Least SquaresDate: 04/24/13 Time:15:48Sample: 1978 2002Inc

39、luded observations:25VariableCoefficientStd. Error t-StatisticC-2582.791940.6128-2.7458600.0121X10.0220670.0055773.9566050.0007IX20.7021040.03323621.124660.0000X323.90541S.7383022.7448590.0121R-squared0.997430Mean dependent var4848.366Adjusted R-squarEd0.997063S.D. depe门de门t var4870.971S E. of regression263.9699Akaike info criterion14.13512Sum squared resid1463172.Schv/arz criterion14.33014Log likelihood-172.6890F-statistic2717；238Durbin-Watson stat0.948542ProbiF-statistic)0.000000经过Eviews运行后，显示如下结果£ = 2582.791+ 0.022067X“ +0.702104X2/+23.9854X3,S =(940.6128), (0.0056), (0.0332),(8