多元线性回归模型

1、第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节多元线性回归模型及假定、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多 元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量Y与多个解释变量 X1,X2, ,Xk之间存在线性关系。假定被解释变量 Y与多个解释变量 Xi,X2,Xk之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即Y 0 iXi 2X2kX(3-1)其中Y为被解释变量，Xj

2、(j 1,2,L ,k)为k个解释变量，j(j 0,1,2,L ,k)为k 1个未知参数, 为随机误差项。被解释变量Y的期望值与解释变量 X1,X2, ,Xk的线性方程为：E(Y) 01X12X2 LkXk(3-2)称为多元总体线性回归方程，简称总体回归方程。对于n组观测值Y'XXz， ,Xki(i 1,2,n),其方程组形式为：Yi01X1i2X2i L kXki i,(i 1,2,L ,n)(3-3)即丫01X112 X21kXk11Y201 X122X22k X k22Yn01Xm2X2nkXknn其矩阵形式为Yi1X11X21X丫2 :_ 1X12X 22XYn1XmX2nXk

3、1k2kn(1(3-4)其中值矩阵;B(k 1) 112为总体回归参数向量;n 12为随机误差项向量。k总体回归方程表示为:E(Y) XB(3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估 计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含 多个解释变量，多个解释变量同时对被解释变量 Y发生作用，若要考察其中一个解释变量对 响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系Y的影数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响。由于参数0, 1, 2,L

4、 , k都是未知的，可以利用样本观测值(X1i,X2i,L ,Xki；Yi)对它们进行估计。若计算得到的参数估计值为0,彳，6,L ,用参数估计值替代总体回归函数的未知参数0, 1, 2,L , k,则得多元线性样本回归方程:Y ? ?x ?x ?xYi 01X1i2X2i Lk Xkn(3-6)其中?(j 0,1,2,L ,k)为参数估计值，Y?(i 1,2, L ,n)为Y的样本回归值或样本拟合值、样本估计值。其矩阵表达形式为：(3-7)丫1X11X21X k1、2，、，2为被解释变量的观测值向量；X n (k 1)1X12X 22Xk2为解释变量的观测Yn1XmX2nXkn01Yn1其中

5、Yn 1Y?2为被解MY?1 n变量样本观测值向量Y的n 1阶拟合值列向量；X n (k 1)1X11X21Xk11 XX”X 1222k2为解释变量X的n (k 1)阶样本观测矩阵；?k 1 11 Xm X2nXkn?0?1样本回归方程得到的被解释变量估计值Y与实际观测值Yi之间的偏差称为残差q。?为未知参数向量的(k 1) 1阶估计值列向量。(3-8)e Y Y? Y (?0 ?X1、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：E( i) 0,i 1,2,L ,n,即E( 1)E( 2)0(3-9

6、)ME( n)假定2同方差假定( 的方差为同一常数)：Var( i) E( i2)2,(i 1,2,L ,n)假定3无自相关性：Cov( i, j) E( i j) 0,(i j,i,j 1,2,L ,n)E加力E1, 2,L ,n)1 222M2 nM2n假定4随机误差项Cov(X/，i)假定5随机误差项i N(0,E(E( 2E( n)1)1)与解释变量E( 1 2)E(；)E(E(E(2)2Iu nE( n)(3-10)X不相关（这个假定自动成立0,(j1,2, ,k,i 1,2, ,n)服从均值为零，方差为2的正态分布:2In):X的秩为参数个数k+1,从而保证参数0, 1, 2,L

7、, k的估计值唯一。假定6解释变量之间不存在多重共线性:rank(X) k 1 n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计（一）回归参数的最小二乘估计对于含有k个解释变量的多元线性回归模型Yi01X1i2X2i LkXkii （i 1,2,L , n）1X1i；X2i设？0,?, , ?k分别作为参数0, 1, , k的估计量，得样本回归方程为：kXkik ki观测值Yj与回归值用的残差e为:ei Y(彳？X1i 2i L?kiXki)由最小二乘法可知,?k应使全部观测值 Yi与回归值?的残差e的平方

8、和最小，即使Q(k)(YiY?)2(Y°r Y 1X1i2 X2ikXki)2(3-11)取得最小值。根据多元函数的极值原理,Q分别对k求一阶偏导，并令其等于零，即化简得下列方程组X1iXki0,(j 1,2,L ,k)(3-12)(Y(Y(YiX1i? V1 X1i?X1i?X1X1i2X2i2X2i2X2ikXki)( 1)；Xki)( X1i)；Xki)( Xki)2X2X2i LXkiYi2 X2i X1i LXkiX1iX1iYi(3-13)X1iXki ? X2iXkiX2iXkiY上述(k 1)个方程称为正规方程，其矩阵形式为nX1iX2iXki0?YiX1X12X 2i X 1iXkiX1i1?X1iYi2XkiX1iXkiX 2 i X kiX2iXkiYik(3-14)因为X1iXkiX11X21Xk1YX1iYiXkiY样本回归模型Y得正规方程组:由假定（6）存在。因而X1iX2iXX12X2iX1iXkiX1iXkiX2iXkiX2 kiX11X 21kiX1iX12X22X k2X11X21Xk1为估计值向量XmX2nXknX12X 22X k2X12XmXmX2nXknX? e两边同乘样本观测值矩阵XX? X eXX?,R(X) k? (X X) 1X Y则为向量B的OLS估计量。以二元线性回归模型为例, 性回归模型为Yi01 X1