09多元线性回归模型

第3章多元线性回归模型3.1假定条件、最小二乘估计量和高斯一马尔可夫定理多元线性回归模型：TOC\o"1-5"\h\zy=P+Px+Px+...+px+u, (3.1)人roL]^2t2 rk-itk-it, v7其中“是被解释变量(因变量)，.是解释变量(自变量)，气是随机误差项，p.,，=0,1,k-ld回归参数(通常未知)。tJ ' '对经济问题的实际意义：X与％.存在线性关系，气J,j=o,1,M-I,是E的重要解释变量叫代表众多影响乂变化的辅小11素。使E的变化了E(〃=[3°+肥]+。说+...+虹.x决定的k维空间平面。1tK-L当给定一个样本(y,x,xx),t=1,2,T时，上述模型表示为v VX AZ/ IIV—JLy=P+Px+px+...+Px+u,经济意义：x.是〉的重要解释变量。TOC\o"1-5"\h\z1 0111 212 1 tj t以=吧+0]%+。再，+•••+P, .+代数意义：y与气.存在线性关系。乙 (J_L匕J. 乙乙乙 Tv-JL乙K~JL 乙 I I/ 几何意义：E表示一个多维平面。y=p+px+px +...+Px+u, (3.2)rorlrir2T2 Kk-1Tk-1T' v7W〃，未知。>2—-匕-(7x1)11y=xp11X21XT\为保证得到最优估计量,XljX>2—-匕-(7x1)11y=xp11X21XT\为保证得到最优估计量,XljX2.7TjX1k-\「p[0U1X2k-\p1+u2XTk-1-(Txk)pLk-1」以Xl)ULTJ(rxi)(3.3)(3.4)回归模型(3.4)应满足如下假定条件。假定⑴随机误差项气是非自相关的，每一误差项都满足均值为零，方差6相同且为有限值，即 'L「10o-0E(w)=0=•,(“)=E(£g')=°2]=cr20 000 0 1假定(2)解释变量与误差项相互独立，即E(XP)=0假定(3)解释变量之间线性无关。rk(X'X)=rk(X)=k其中rk(・)表示矩阵的秩。假定⑷解释变量是非随机的，且当T一8时TXX—Q其中。是一个有限值的非退化矩阵。最小二乘(OLS)法的计算公式是(3.5)&=(XR-iXY

(3.5)因为X的元素是非随机的，(XX)-1X是一个常数矩阵，则&是Y的线性组合，为线性估计量。求出6，估计的回归模型写为TOC\o"1-5"\h\zy=r+rx+...+r x+，: (3.6)七P0P111 PS1tk-1u3.2残差的方差\o"CurrentDocument"s2=£(ut)2/(T-k) (3.7)s2是b2的无偏估计量，E(s2)R2。3.3多重确定系数(多重可决系数)对于多元线性回归模型：y=P+Px+Px+...+Px+u, (3.1)'t01t1 2t2 Kk-1tk-1t,总平方和SST=£T1(七_y)2其中y是yt的样本平均数，定义为y=(£T七)/T。回归平方和为SSR=£T(y^—y)2其中y的定义同上。'残差平方和为SSE=£t(y_y)2=»u2t=1't t=1'则有如下关系存在，SST=SSR+SSE (3.8)(3.9)r2=ssrY，Yt2(3.9)SST一YY-Ty2显然有0<R2<1。R2—1，拟合优度越好。3.4调整的多重确定系数当解释变量的个数增加时，通常R2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数R2如下：R2=1-SSE/(Tf=1_(J)(SST-SSR)=1-J(1_R2) (3.10)SST/(T—1)T—kSST T—k3.5方差分析与F检验与SST相对应，自由度T-1也被分解为两部分，(T-1)=(k-1)+(T-k) (3.11)回归均方定义为MSR=皿，误差均方定义为MSE=业巴k—1 T—k表3.1方差来源平方和自由度 均方 均方方差分析表表3.1方差来源平方和自由度 均方 均方回归k-1MSR=SSR/(k-1) F=MSRMSE回归k-1MSR=SSR/(k-1) F=MSRMSE误差SSE=ETU2t=1tT-kMSE=SSE/(T-k)总和SST=E.(七-§)2T-1Ho： P]=P2=...=Pk-1=0; H1：P/不全为零(3.12)图3.1F检验示意图图3.2 t检验示意图F=MSRMSESSR/(k-1)〜尸SSE/(T-k) (k-1,T-k)3.6t检验H0:。广0,(j=1,2,…,k-1),H1:t=L〜tS(七t=L〜tS(七)(T-k)

判别规则：若11

3.7预测

(1)点预测C=(1I-"(T-k)接受Ho；若|t1>"(T-k)拒绝H0。(3.13)XT+11 XT+12…XT+1k-1(3.14)则T+1期被解释变量jt+1的点预测式是，(3.14)yT+1=Cp=P0+p1xt+11+…+pk-1xt+1k-13.8预测的评价指标注意，以下6个公式中的乌表示的是预测误差，不是残差。可以在样本内、外预测。预测误差。预测误差定义为et=y-yt，t=T+1,T+2,... (3.15)是对单点预测误差大小的测量。相对误差PE(PercentageError)。PE=y广儿,t=T+1,T+2,... (3.16)yt

是对单点预测相对误差大小的测量。误差均方根rmserror(RootMeanSquaredError)rmserror=爻(}-y)2t=1通过若干个预测值对预测效果进行综合评价。绝对误差平均MAE(MeanAbsoluteError)MAE=1玉|Tt=1(3.17)(3.18)通过若干个预测值对预测的绝对误差进行综合评价。(3.17)(3.18)MAPE=1寸Tt=MAPE=1寸Tt=1八y,—y,yt(3.19)综合运用以上4种方法，通过若干个预测值对预测的相对误差进行综合评价。以上6个式子中，y表示预测值，yt表示实际值。Theil的取值范围是［0,1］。显然在预测区间内，当y,与y完全相等时，Theil=0；当预测结果最差时，Theil=1。公式中的累加范围是用1至T表示的，当然也可以用于样本外预测评价。80 81 82 83 84 85 86 87 88 89 90 91 923.9建模过程中应注意的问题80 81 82 83 84 85 86 87 88 89 90 91 92300002500020000150001000050000图3.3研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP是1980年的5.9倍，而按固定价格计算，我国1992年的GDP是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP曲线一直是上升的，而按不变价格(1980年价格)计算的GDP曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：我国粮食产量=f(耕地面积、农机总动力、施用化肥量、农业人口等)。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。

例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。（线性、非（4）通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。（线性、非线性、无关系）(nonli8(nonli8)（5）谨慎对待离群值（outlier）。离群值可能是正常值也可能是异常值。不能把建立模型简单化为一个纯数学过程，目的是寻找经济规律。年INV年INV（投资）IMPORT(进口)19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.2000（6）过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型，y=&1气+吃，为例，①Zu广0不一定成立。原因是正规方程只有一个（不是两个），(3.20)即Zu==0，而没有Z古广0。所以残差和等于零不一定成立。②可决系数R2有时会得负值！原因是有时会有SSE>SST。为维持SSE+SSR=SST，迫使SSR<0。（7）改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。即不会影响统计检验结果。以一元回归模型的估计公式为例说明之。V/ 一、/一、，(x-x)(y-y) t t Z(x-x)2

tZ(xZ(x—x)(y—y)VZ(x-x)2

Z(xt-x)2 dyz二,一、"(x—x)(y—y) 七 七 v'Z(x—x)2

. t(T-2)Z(yt—yt)2回归模型给出估计结果后，首先应进行F检验。F检验是对模型整体回归显著性的检验。(检验一次，H0:P1=。2=…=Pfe-1=0；H］：Pj不全为零。)若F检验结果能拒绝原假设，应进一步作t检验(检验k次，H0:P.=0,(j=1,2,…，k-1),H1：P.丰0)。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，贝则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。在作F与t检验时，不要把自由度和检验水平用错(正确查临界值表)。回归系数的t检验是双端检验，但t检验表的定义有P(|11>ta)=a,P(t<ta)=a(3.21)对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该对回归系数作如下变换(3.21)&.*= ，j=1,2,...k-1jjs(yt)TOC\o"1-5"\h\z其中s(x)和s(y)分别表示x和y的样本标准差。&*可用来直接比较大小。t t t t j(标准化后不存在截距项)，以二元模型为例，标准化的回归模型表示如下(标准化后不存在截距项)，2^=p*41^+p*42^+...+u12 ts(yt) s(xt1) s(xt2)两侧同乘s(yt)，得X2)+••-+uts(yt)(y-y)=p1*s(yt)("X)+p2*s(yt)(X2)+••-+uts(yt)S(七1) 1 S(xt2)所以有p*Q!=p,即p*=p里2,i=1,2,...k-1js(xtj)j jjs(yt)既是(3.21)式。利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是①根据预测公式离样本平均值越远，预测误差越大。以一元回归模型为例；y〜N(B+pX,b2(1+上+(XF—Xr))F 0 1F T£(xt-X)2从公式看，当xF=X时，yF的分布方差最小，即预测区间最小，预测精度最高。而预测点xF越远离X，yF的分布方差越大，即预测区间越大，预测精度越差。②有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。图3.8给出青铜硬度与锡含量的关系曲线。若以锡含量为0-16%为样本，求得的关系近似是线性的。当把预测点选在锡含量为16%之外时，显然这种预测会发生严重错误。因为锡含量超过16%之后，青铜的硬度急剧下降，不再遵从锡含量为0-16%时的关系。

图3.8青铜硬度与锡含量的关系图3.8青铜硬度与锡含量的关系回归模型的估计结果应与经济理论或常识相一致。如边际消费倾向估计结果为1.5,则模型很难被接受。残差项应非自相关(用DW检验，亦可判断虚假回归)。否则说明①仍有重要解释变量被遗漏在模型之外。②选用的模型形式不妥。通过对变量取对数消除异方差。避免多重共线性。解释变量应具有外生性，与误差项不相关。应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。模型的结构稳定性要强，超样本特性要好。世界是变化的，应该随时间的推移及时修改模型。3.10案例分析案例1：《全国味精需求量的计量经济模型》(见《预测》1987年第2期)依据经济理论选择影响味精需求量变化的因素依据经济理论一种商品的需求量主要取决于四个因素，即①商品价格，②代用品价格，③消费者收入水平，④消费者偏好。模型为：商品需求量=f(商品价格，代用品价格，收入水平，消费者偏好)对于特定商品味精，当建立模型时要对上述四个因素能否作为重要解释变量逐一鉴别。商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。所以确定价格作为一个重要解释变量。代用品价格：味精是一种独特的调味品，目前尚没有替代商品。所以不考虑代用品价格这一因素。消费者收入：显然消费者收入应该是一个较重要的解释变量。偏好：由于因偏好不食味精或大量食用味精的情形很少见，所以每人用量只会在小范围内波动，所以不把偏好作为重要解释变量，而归并入随机误差项。

分析结果，针对味精需求量只考虑两个重要解释变量，商品价格和消费者收入水平。味精需求量=f（商品价格，收入水平）选择恰当的变量（既要考虑代表性，也要考虑可能性）用销售量代替需求量。因需求量不易度量，味精是自由销售商品，不存在囤积现象，所以销售量可较好地代表需求量。味精商品价格即销售价格。用人均消费水平代替收入水平。因为①消费水平与味精销售量关系更密切。②消费水平数据在统计年鉴上便于查找（收入水平的资料不全）。味精销售量=f（销售价格，人均消费水平）用平均价格作为销售价格的代表变量。不同地区和不同品牌的味精价格是不一样的，应取平均价格（加权平均最好）。取不变价格的人均消费水平:消费水平都是用当年价格计算的，应用物价指数进行修正。味精销售量=f（平均销售价格，不变价格的消费水平）收集样本数据（抽样调查，引用数据）从中国统计年鉴和有关部门收集样本数据（1972-1982,T=11。数据见下页。）。定义销售量为e（吨），平均销售价格为外（元/公斤），不变价格的消费水平为％（元）。相关系数表如下：平均销售价格（对）不变价格的消费水平（成）味精销售量（匕） -0.3671 0.97714.确定模型形式并估计参数4.确定模型形式并估计参数_y=-144680.9+6313.4x1（+690.4x2? （1）（-3.92） （2.17） （15.32） R2=0.97,DW=1.8,t005（8）=2.3回归系数6313.4无显著性（x1f与x2f应该是负相关，回归系数估计值却为正，可见该估计值不可信）。剔除不显著变量x1t，再次回归，v=-65373.6+642.4x2 （2）（-10.32） （13.8） R2=0.95,DW=1.5,t005⑼=2.26问题：&]=6313.4,为什么检验结果是P1=0？量纲的变化对回归结果会造成影响吗?

案例2：中国出口贸易模型根据贸易理论，将影响进出口的因素概括为六个变量，国内生产总值、国外直接投资、汇率、外汇储备、贸易条件和贸易壁垒。分述如下：外国居民的收入会直接影响到本国的出口。所以选择外国的平均国内生产总值作为影响本国出口的因素之一。出口应随着外国国内生产总值的增加而增加。20世纪50年代，美国经济学家罗伯特•蒙代尔提出资本流动可以代替商品流动的观点。20世纪80年代，另一位经济学家卡玉瓮提出，在一定条件下，商品的流动和资本的流动是互补的关系，即商品的流动会带动资本的流动，而资本的流动又可以带动商品的流动。从理论上分析，资本流动与商品流动既可以是替代关系，也可以是互补关系。在这里，我们选择外商直接投资作为影响进出口的影响因素之一。汇率表示一国的货币价格，汇率的变化会改变一个国家用外国（本国）货币表示的出口（进口）商品的价格，进而影响进出口规模。一国货币的贬值（升值）会增加出口（进口）而减少进口（出口）。中国实行盯住美元的汇率政策，而美元对其他货币又是浮动汇率，因此人民币对美元来讲是固定汇率，而对于其他国家的货币则是浮动汇率。考虑到这一因素，我们选取实际有效汇率指数这一变量来反映人民币汇率变化对进出口的影响。外汇储备是指下列以外币表示的可以用作国际清偿的支付手段和资产：（一）外国货币，包括纸币、铸币；（二）外币支付凭证，包括票据、银行存款凭证、邮政储蓄凭证等；（三）外币有价证券，包括政府债券、公司债券、股票等；（四）特别提款权；（五）其他外汇资产。外汇储备的增加有利于进出口之间的平衡，维持经济的稳定。出口的增加会带动外汇储备的增加，而外汇储备的增加会带动进口的增加；同时，通过进口一些生产性物资，进而进一步带动出口的进一步增加。在模型中，我们选择外汇储备（RESE）作为影响进出口的重要因素。贸易条件也是影响出口的重要因素。贸易条件（TermsofTrade）又称交换比价或贸易比价，即出口价格与进口价格之间的比率。它是用出口价格指数与进口价格指数来计算的。贸易壁垒也是影响进出口的重要因素。贸易壁垒（tradebarrier）包括关税壁垒和非关税壁垒。关税税率的高低，在一定程度上反映了一国市场经济发育的程度。关税属于间接税，它可以被转嫁到生产者或者消费者身上，体现了政府控制对外贸易的意图。较高的关税会抬高进口商品的价格，从而降低国外商品竞争力，保护国内产业并阻碍贸易规模的扩大；反之，较低的关税则相对降低了进口商品的价格，从而提高国外商品的竞争力，表明政府对国内产业保护程度的降低，是对经济自由化的认可。非关税壁垒一般包括配额管理、许可证管理、国营贸易等措施。由于进出口价格指数和平均关税水平缺乏数据，同时非关税贸易壁垒无法量化，因此在模型中忽略掉贸易条件和贸易壁垒这两个因素。（5）出口总额的模型估计0000000000000丁00000000000000丁0EXEX=-510.7672+0.7074FGDP+0.5334FDI+0.7717RESE（-2.76）（4.43） （1.59） （11.15）R2=0.99D.W.=1.22变量实际有效汇率不显著，所以在模型中略去。上面的最终估计结果表明，总体来看，出口额受到外国国内生产总值、外国直接投资和外汇储备三个变量的影响，而且影响方向均为正方向。外国国内生产总值每增加（减少）10亿美元，中国的出口额将增加（减少）0.7074亿美元；外国直接投资每增加（减少）1亿美元，出口额将增加（减少）0.5334亿美元；外汇储备每增加（减少）1亿美元，出口额将增加（减少）0.7717亿美元。EX=-551.0340+0.7967FGDP+0.8263RESE+AR（1）（-2.2） （4.1） （11.6）R2=0.99,D.W.=1.70,se=116.6400200400200-200-■4000-3000-2000-1000-08284868890929496980002案例3：《用回归方法估计纯耕地面积》（见《数理统计与管理》1986年第6期）目前对土地的调查大多采用航空摄影，从照片上把各类资源图斑转绘到1:10000的地形图上，然后再从地形图上测绘图斑面积。在处理如何获得实际耕地面积时，