多元线性回归模型假定

1、多元线性回归模型及假定多元线性回归模型及假定多元线性回归模型及假定适用文案第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数预计的计算4、理解参数统计性质第一节多元线性回归模型及假定一、多元线性回归模型很多经济现象常常要受多个要素的影响，研究被解说变量受多个解说变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本近似，只可是解说变量由一个增添到两个以上，被解说变量Y与多个解说变量X1,X2,Xk之间存在线性关系。假定被解说变量Y与多个解说变量X1,X2,Xk之间拥有线性关系，是解说变量的多元线性函数，称为多元线性回归模型

2、。即Y01X12X2kXk(3-1)此中Y为被解说变量，Xj(j1,2,k)为k个解说变量，j(j0,1,2,k)为k1个未知参数，为随机偏差项。被解说变量Y的希望值与解说变量X1,X2,Xk的线性方程为：E(Y)01X12X2kXk(3-2)称为多元整体线性回归方程，简称整体回归方程。关于n组观察值Yi,X1i,X2i,Xki(i1,2,n)，其方程组形式为：Yi01X1i2X2ikXkii,(i1,2,n)(3-3)即Y101X112X21kXk11Y201X122X22kXk22Yn01X1n2X2nkXknn其矩阵形式为标准Y的均值的影响。Y11X11X21XY21X12X22X=Yn

3、1X1nX2nX适用文案0k111k22+knnk即YX(3-4)此中Y11X11XYn1Y2为被解说变量的观察值向量；Xn(k1)1X12XYn1X1nX01121222nXXXk1k2kn为解说变量的观察值矩阵；为整体回归参数向量；2为随机偏差项向量。(k1)12n1nk整体回归方程表示为：E(Y)X(3-5)与一元线性回归分析同样，多元线性回归分析还是依据观察样本预计模型中的各个参数，对预计参数及回归方程进行统计查验，进而利用回归模型进行经济展望和分析。多元线性回归模型包括多个解说变量，多个解说变量同时对被解说变量Y发生作用，若要观察此中一个解说变量对Y的影响就必然假定其余解说变量保持不

4、变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反应了当模型中的其余变量不变时，此中一个解说变量对因变量因为参数0,1,2,k都是未知的,可以利用样本观察值(X1i,X2i,Xki;Yi)对它们进行预计。若计算获得的参数预计值为?0,?1,?2,?k，用参数预计值代替整体回归函数的未知参数0,1,2,k，则得多元线性样本回归方程：?(3-6)Yi01X1i2X2ikXkn此中?0,1,2,k)为参数预计值，?1,2,n)为Yi的样本回归值或样本拟合值、样本估j(jYi(i计值。其矩阵表达形式为:?(3-7)YX标准适用文案?Y1?Y2为被解说变量样本观察值向量Y的n1阶拟合值列向

5、量；此中Yn1?Yn1X11X21Xk1Xn(k1)1X12X22Xk2为解说变量X的n(k1)阶样本观察矩阵；1X1nX2nXkn?0?1?为未知参数向量的(k1)1阶预计值列向量。k112?k样本回归方程获得的被解说变量预计值?与实质观察值Yi之间的偏差称为残差ei。YieiYi?X1i?(3-8)YiYi(012ikiXki)二、多元线性回归模型的假定与一元线性回归模型同样，多元线性回归模型利用一般最小二乘法(OLS)对参数进行预计时，有以下假定：假定1零均值假定：E(i)0,i1,2,n，即12E()EnE(1)E(2)(3-9)0E(n)假定2同方差假定(的方差为同一常数)：Var(

6、i)E(i2)2,(i1,2,n)假定3无自有关性：Cov(i,j)E(ij)0,(ij,i,j1,2,n)标准适用文案121E2(1,2,n)E21E()nn1E(12)E(12)E(1n)E(21)E(22)E(2n)E(n1)E(n2)E(n2)200020u2In002假定4随机偏差项与解说变量X不有关(这个假定自动成立Cov(Xji,i)0,(j1,2,k,i1,2,n)假定5随机偏差项遵照均值为零，方差为2的正态散布：iN(0,2In)假定6解说变量之间不存在多重共线性：rank(X)k1n121n222n2n2n(3-10)：即各解说变量的样本观察值之间线性没关，解说变量的样本观

7、察值矩阵X的秩为参数个数k+1，进而保证参数0,1,2,k的预计值独一。第二节多元线性回归模型的参数预计及统计性质一、多元线性回归模型的参数预计(一)回归参数的最小二乘预计关于含有k个解说变量的多元线性回归模型Yi01X1i2X2ikXkii（i1，2，n)设?0,?1,?k分别作为参数0,1,k的预计量，得样本回归方程为：?X2i?Yi01X1i2kXki标准适用文案观察值Yi与回归值?的残差ei为：YieiYi?Yi(?Xki)Yi01X1i2iki由最小二乘法可知?与回归值?的残差0,1,k应使所有观察值Yiei的平方和最小，即便Yi?2?2Q(0,1,2,k)ei(YiYi)(Yi?X

8、2i?2(3-11)01X1i2kXki)获得最小值。依据多元函数的极值原理，Q分别对?0,?1,?k求一阶偏导，并令其等于零，即Q0,(j1,2,k)(3-12)?j即Q2(Y?X?X?X)(1)0?i011i22ikki0Q2(Yi?Xki)(X1i)0?01X1i2X2ik1Q(Yi?01X1i2X2ikXki)(Xki)0k化简得以下方程组n?X1i?X2i?XkiYi012k?X1i?2?X2iX1i?XkiX1iX1iYi01X1i2k(3-13)?2XkiX1iXki2X2iXkiXkiYi01kXki上述(k1)个方程称为正规方程，其矩阵形式为?nX1iX2iXki0Yi?2X

9、1iX2iX1iXkiX1i1X1iYiX1i?(3-14)2XkiX1iXkiX2iXkiXki2?XkiYik因为标准适用文案nX1iX2iXkiX1iX12iX2iX1iXkiX1iXkiX1iXkiX2iXkiXki21111X11X21Xk1X11X12X1n1X12X22Xk2X21X22X2nXXXk1Xk2Xkn1X1nX2nXknYi111Y1X11X12X1nX1iYiY2X21X22X2nXYXkiYiXk1Xk2XknYn?0?1?2为预计值向量设?k样本回归模型YX?eX的转置矩阵X，则有两边同乘样本观察值矩阵?XYXXXe得正规方程组：XY?(3-15)XX由假定(

10、6)，R(X)k1，XX为(k1)阶方阵，因此XX满秩，XX的逆矩阵(XX)1存在。因此?1XY(3-16)(XX)则为向量的OLS预计量。以二元线性回归模型为例，导出二元线性回归模型的OLS预计量的表达式。由(3-3)式得二元线性回归模型为Yi01X1i2X2ii为了计算的方便，先将模型中心化。标准适用文案1nXji，1,2)XjXji,xjiXj(jni1Y1nYiYYi,yini1Lpqxpixqi,(p,q1,2)LjYxjiyi,(j1,2)LYYyi2设001X12X2，则二元回归模型改写为中心化模型。Yi01x1i2x2ii(3-17)记1x11x210X,11x12x222n0

11、0YiXX0 x12ix1ix2i,XYx1iYi(3-18)0 x2ix1ix22ix2iYi将Lpqxpixqi,(p,q1,2)代入得n00XX0L11L12(3-19)0L21L22因为nnnnxjiYixji(yiY)xjiyiYxjii1i1i1i1nLjY,(j1,2)xjiyi(3-20)i1则YiXYL1YL2Y由(3-16)式得标准适用文案?10Yi1L1Y(3-21)(XX)XYnL10L2Y此中L11L121L22L12L11L12L22L11L22L12L21L12L11由(3-21)式可知?0Y?1L1Y1L22L12L1Y1L?L2Y2L12L11L2YL11L2

12、2L122得?L1YL22L2YL12(3-22)1L11L22L122?2L2YL11L1YL12(3-23)L11L22L122?Y?X2(3-24)01X122(二)随机偏差项的方差的预计量样本回归方程获得的被解说变量预计值?与实质观察值Yi之间的偏差称为残差eiYi?Yi(01X1i2iX2ikiXki)eiYiYi则?1eYYYX(X)X(XX)XY(X)X(XX)1X(X)XX(XX)1XX(XX)1XInX(XX)1X设PInX(XX)1X，可以得出P是n阶对称幂等矩阵，PP，P2P。于是标准适用文案eP而残差的平方和为ei2ee(P)(P)PPPInX(XX)1XE(ee)EI

13、nX(XX)1X2trInX(XX)1X2trIntrX(XX)1X2n(k1)此中“tr”表示矩阵的迹，即矩阵主对角线元素的和。于是2E(ee)Eeen(k1)n(k1)随机偏差项的方差2的无偏预计量，记作Se2，即E(Se2)2，Se2?2，Se为残差的标准差(或回归标准差)。因此Se2ei2ee(3-25)nk1nk1此中2?eiee(YX)(YX)YY?2XYXX?1XYYY2XYXX(XX)YY?(3-26)XY比方,关于二元线性回归模型(k2)Se2eeei2(3-27)n3n3ei2eeLYY?1L1Y?2L2YYi2?X1iYi?X2iYi(3-28)12标准适用文案二、预计参

14、数的统计性质1、线性性指最小二乘预计量?Y1,Y2,Yk的线性函数。是被解说变量的观察值因为?1XY(XX)设P(XX)1X，则矩阵P为一非随机的(k1)n阶常数矩阵。因此?(3-29)PY明显最小二乘预计量?Y1,Y2,Yk的线性函数。是被解说变量的观察值2、无偏性将YX代入(3-16)式得?111(XX)XXXXXXXXXXX1(3-30)X则?1EEXXXXX1XE()?因此是的无偏预计量。最小方差性设P为np阶数值矩阵，X为pn阶随机矩阵(随机变量为元素的矩阵)，Q为nn阶数值矩阵，则EPXQPEXQ下边我们推导?的方差、协方差矩阵。定义：Var?E?标准适用文案?00?E110,1,

15、k01,k?kkVar?Cov?,?Cov?,?0010kCov?,?Var?Cov?,?1011kCov?Cov?,?Var?k,0k1k由(3-30)式得?1XXX?XX1X1XXX因此Var?E?E(XX)1XX(XX)1XX1XEXXX1XX1X2InXXX12(XX)1(3-31)这个矩阵主对角线上的元素表示?的方差，非主对角线上的元素表示?的协方差。比方Var?i是位于2XX1的第i行与第i列交叉处的元素(主对角线上的元素)；Cov?i,?j是位于2XX1的第i行与第j列交叉处的元素(非主对角线上的元素)?在应用上，我们关怀的(3-31)式记作的方差，而忽视协方差，因此把Var?2

16、1XXii(3-32)记S1XX1Cij,(i,j0,1,2,?2?,k)，则VariCii，因此是的最小方差线性无偏预计。这说明，在(3-1)式系数的无偏预计量中，OLS预计量的方差比用其余预计方法所得的无偏预计量的方差都要小，这正是OLS的优胜性所在。用Se2代替2则得?i的标准预计量的预计值，乃称为标准差。标准适用文案S?2(3-33)iCiiSe此中Se2ee1nk关于二元回归模型(k2)，求预计量?1,?2的方差，由(3-32)式得?21210VarnXXiiL10ii此中L11L12LL12L22于是?2L22L1221Var1?Lii2L12L11iiL11L22L122因此Va

17、r?2?L222(3-34)11L11L22L122Var?22?2L112(3-35)L11L22L122S?1L222Se2(3-36)L11L22L12S?L11S2(3-37)2L11L22L122e此中Se2een3标准适用文案第三节明显性查验一、拟合优度查验(一)总离差平方和分解设拥有k个解说变量的回归模型为Yi01X1i2X2ikXkii其回归方程为?X1i?X2i?XkiYi012k离差分解：YiYYi?YYiYi总离差平方和分解式为：2?22YiYYYiY(3-38)Yi即TSSESSRSS(3-39)总离差平方和分解为回归平方和与残差平方和两部分。(二)样本决定系数关于多元

18、回归方程，其样本决定系数为复决定系数或多重决定系数。RYX2,(i1,2,k)，简记为R2。R2ESSTSS(3-40)依据式(3-39)R21RSS(3-41)TSS因为TSSYY22nY2Yii由(3-26)式知?RSSYYXY因此2ESSTSSRSS?XYnY标准适用文案R2?nY2(3-42)XYYYnY2R2作为查验回归方程与样本值拟合优度的指标：R2(0R21)越大，表示回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。详细的，当k2时,求样本决定系数?Y222R2YiyieiYiY2yi2由(3-28)式，得ei2LYY?1L1Y?2L2Y，因此有R2?1L1Y?2L2Y

19、(3-43)LYY(三)调整后的样本决定系数在使用R2时，简单发现R2的大小与模型中的解说变量的数量有关。假如模型中增添一个新解说变量，总离差TSS不会改变，但总离差中由解说变量解说的部分，即回归平方和ESS将会增添，这就是说R2与模型中解说变量个数有关。但经过增添模型中解说变量的数量而使R2增大是错误的，明显这样R2来查验被回归方程与样本值拟合优度是不适合的，需要对R2进行调整，使它不单能说明已被解说离差与总离差的关系，并且又能说明自由度的数量。以R2表示调整样本决定系数，R21Se2(3-44)S2y此中ei2Yi2Se2,Sy2Ynk1n1这里nk1是残差平方和的自由度，n1是总离差平方

20、和的自由度。由(3-44)式得R21ei2n111R2n1Yi2Ynk1nk1此中,n是样本观察值的个数,k是解说变量的个数。从式中可以看出，当增添一个解说变量时，由前面分析可知R2会增添，惹起1R2减少，而n1增添，因此R2不会增添。这样用R2判nk1标准适用文案定回方程合度，就除去了R2解量个数的依。R2或R2只好明在定的本条件下回方程与本合度，其实不可以做出体模型的推，因此不可以凭R2或R2来模型，必回方程和模型中各参数的估计做著性。二、方程明显性查验由离差平方和分解(3-39)式可知，离差平方和TSS的自由度n1，回平方和ESS是由k个解量X1,X2,XkY的性影响决定的。因此它的自由

21、度k。因此，残差平方和的自由度由离差平方和的自由度减去回平方和的自由度，即nk1。回方程能否著，第一步，作出假H0:12k0假H1：b1、b2、bk不同样0第二步，在H0成立的条件下，算量FESSkFk,nk1FkRSSn1第三步，表界于假H0，依据本算量F定著水平，第一个自由度k，第二个自由度nk1的F散布表得界Fk,nk1。当FFk,nk1，拒H0，回方程著成立；当FFk,nk1，接受H0，回方程无著意。三、参数明显性查验回方程著成立，其实不意味着每个解量X1,X2,Xk被解量Y的影响都是重要的。假如某个解量被解量Y的影响不重要，即可从回模型中把它剔除去，从头成立回方程，以利于的分析和Y行

22、更正确的。此需要每个量行考，假如某个解量X被解量Y的作用不著，那么它在多元性回模型中，其前面的系数可取零。因此必i能否零行著性。由(3.44)式标准适用文案S?i?iCiiSe2(3-45)此中Se2eenk1对回归系数?i进行明显性t查验，步骤以下：(1)提出原假定H0:i0；备择假定H1:i0。?(2)结构统计量ti?i，当i0成立刻,统计量titnk1。这里S是S?iiSi?的标准差，k为解说变量个数，计算由式(3-45)给出。i(3)给定明显性水平，查自由度为nk1的t散布表，得临界值t(nk1)。2(4)若tt(nk1)，则拒绝H0:i0，接受H1:i0，即以为i明显不为零。若2tt

23、(nk1)，则接受H0:i0，即以为i明显为零。2四、利用多元线性回归方程进行展望关于多元线性回归模型Yi01X1i2X2ikXkiiXii此中Xi1,X1i,X2i,Xki，0,1,k，(i1,2,n)依仍旧本观察值1,X1i,X2i,Xki;Yi,(i1,2,n)利用最小二乘法求得回归方程?XiYi展望就是给解说变量某一特定值X01,X10,X20,Xk0对被解说变量的值Y0进行预计，?e0为一随机变量，可以证明e0遵照正态Y0作为Y0的展望值。设e0Y0Y0，称其为展望偏差。散布，即1e0N0,21X0XXX0将式中2用它的预计值Se2代替，则得e0的标准差?(e0)1?e0Se1X0X

24、XX0标准适用文案此中Seeenk1统计量?Y0tY0?e0关于给定置信水平1，展望值Y0置信区间为?t2?e0?t2?e0Y0Y0Y0即为?1?1Y0t2Se1X0XXX0EY0X0Y0t2Se1X0XXX0五、多元线性回归分析实例第四节最大似然预计一、似然函数(一)基本假定关于所研究的模型YX，给定以下基本假定：(1)N(0,2I)(2)Cov(Xij,i)0,(i1,2,n;j1,2,k)P(x)k随机抽样老是生产单调的最可能结果：随意样本都是其所属整体的代表。这个强假定是针对小样本而言的。（二）似然函数确立随机变量Y的任一观察样本的结合概率的函数，就称为Y的似然函数。一般表达式为：LY;X;2IP(Y)(2112)n2exp22(YX)(YX)(3-47)标准适用文案二、极大似然预计法的基本思想极大似然预计法(maximumlikelihoodestimation,MLE)需要对随机扰动项的散布做出假定，通常选择正态散布假定。在极大似然预计中，假定样本是固定的，n个观察值都是独立观察的，这个样本可由各样不同样的整体生成，而每个样本整体都有自己的参数