一元线性回归模型与多元线性回归模型对比

1、一元线性回归模型多元线性回归模型总体回归函数E(Y|X)0iXE(Y即EX1,X2 Xk)01X12X2kXk(Y|X)XB总体回归模型 (总体回归函数的 随机表达形式)Y E(Y|X)0iXY E(YX1，X2 Xk)即Y XB 以01X12X2k X k样本回归模型 (样本回归函数的 随机表达形式)Y?0?iXeY?0ZX1 NX?kXk e 即丫 x ? e样本回归函数Y?0?iXY?0ZX1?2X2?kXk即Y?X?给定一组容量为 n 的样本(X1,Y1),(X2,Y2), (Xi,Yi), (Xn,Yn)则，上述式子可以写成：(X11,X12,X1k,Y1),(X 21 , X 2

2、2 , X 2k ,Y2 ),给定一组容量为 n的样本，(Xi1,Xi2, Xik,Yi)(Xn1，Xn2, Xnk，Yn)则上述式子可以写成：总体回归函数E(YiXi)01XiE(YiXi1，Xi2 Xik)01Xi12Xi2kXik总体回归模型Yi E(Y|Xi) i01X iiYE(Yi|Xi1，Xi2 Xik) i01Xi12Xi2kXi ki样本回归模型Y ? X eYi01X i ei丫 Z ?Xi1 马 Xi2?kXikei样本回归函数Y?0?1XiY?0?1Xi1?2Xi2?kXik样本回归函数的离 差形式?i Zx贸x-解释变量的个数 (包括常数项)2 个：C , Xk+1

3、个：C , X1，X2, Xk基本假定假设1:回归模型是正确设定 的。模型设定正确假设。假设2：确定性假设。解释变量 X是确定性变量，不是 随机变量，在重复抽样确定性假设。解释变量X1,X2, Xk是非随机或固定的， 且中取固定值。：各X j之间不存在严格线性相关（无完全多重共线性）。假设3:样本变异性假 设。对解释变量 X抽取的样本 观察值并不完 全相同。样本方差趋于 常数假设。样本变异性假设。各解释变量 Xj在所抽取的样本中具有变异性。样本方差趋于常数假设。随着样本容量的无限增加，各解释变量的样本方差区域 一个非零的有限常数。假设4:随机误差项科零均值、 同方差、不序列相关假 设。随机误差

4、项科零均值、同方差、不序列相关假设。假设5:随机误差项与解释变 量不相关。随机误差项与解释变量不相关。假设:6 :止态性假设。随机项服 从正态分布。止态性假设。随机项服从正态分布。参数估计一元线性回归模型多元线性回归模型普通最小二乘估计（OLS残差平方和达到最小， 得到正规方程组，求得 参数的普通最小二乘估 计值：?Xi y12、，一Xi（普通?0 Y ?iX最小一乘估计的离差形 式）随机干扰项的方差的估2?2n 2残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值仗（XX） 1XY仗（x x）- 1 x y?0 YZXiZXk（普通最小一乘估计的离差形式）2随机干扰项的方差 ?

5、2 -een k 1 n k 1最大似然情计（ML） 矩估计（MM数估计值估计结果与 OLS方法一致，但随机 |干扰项的方差的估计量 与OLS不 同2?2ein参数估计值估计结果与 OLS方法一致，但随机干扰项的力差2的估计量?2 工 n参数估计量的性质线性性、无偏性、后效 性线性性、无偏性、功效性参数估计量的概率 分布2?N( 1 ,2-) Xi?Xi2 2-0 N( 0 ,2)n xi样本容量问题样本容量 n必须小少于模型中解释变量的个数（包括常数项），即n k 1才能得到参数估计值，n-k 8时t分布才比较稳定，能够进行变量的显着性检验，一般认为n 30活着至少n 3 k 1时才能满足模

6、型估计要求。如果样本量过小，则只依靠样本信息是无法完成倩计的，需要用其他方法 去仙1。统计检验一元线性回归模型多元线性回归模型拟合优度检验总周差平方和的分解TSS=ESS+RSS2ESSR,TSSR20,1越接近于1,拟合优度越高。总离差平方和的分解TSS=ESS+RSSY ESS / RSS /_ 、R2 1,（即总平万和中回归平万和的比例 ）TSSTSS_ 2_ _2 .一R 0,1对于同一个模型，R越接近于1,拟合优度越高。-2 / RSS（n k 1）R1 （调整的思路是残差平方和 RSS和总平方和TSSTSS/（n 1）各自除以它们的自由度）_2为什么要对 R进行调整解释变量个数越多

7、，它们对丫所能解释的部分越大（即回归平方和部分越大），残差平方和部分越小， R2越高，由增加解释变量引起的R2的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度，R2就不是一个合适的指标，必须加以调整。方程总体显着性检 验目的：对模型中被解释变量与解释变量之间的线性关系在总 体上是否成立做出判断。原假设班:船二= 0, -dk = 0备择假设:Hi工0J0 = L2,k）不全为零统计里的构造：F -，心一此一n k 1）判断步骤：计算F统计量的值给定显着性水平口，查F分布的临界值表获得F口 hn - k 1 ）比较F与Fa的值，若F）F 二，拒绝原假设，认为原方程总体线性关系在1d的置信

8、水平下显着。若F W F。，接受原假设，不能认为原方程总体线性关系在1 - a的置信水平下显着。目的：对模型中被解释变量对每一个解释变量之间的线性关系是否成立作出判断，或者说考察所选择的解释变量对被解释变量是否有显着的线性影响。针对某解释变量X，原假设：怖邛j二Q,备择假设：$ : B丰。最常用的检验方法：t检验 日 ft构造统计量：t=一二_ " t加- k - 1）判断步骤：计算t统计量的值给定显着性水平a ,查t分布的临界值表获得t 1 （r> - k - 1变量的显着性检验7）比较t值与、的值，若t>"，拒绝原假设，认为变量%在1 0的置信水平下通过显着

9、性检验 （或 者说，在|口的显着性水平下通过检验），认为解释变量X3对被解释变量 Y有显 着线性影响。若上延 W,接受原假设，在显着性水平|a下没有足够证据表明对Y有显着 线性影响。目的：考察一次抽样中样本参数的估价值JL与总体参数的真实值的接近程度。思路：构造一个以样本参数的估计值 宜为中心的区间，考察它以多大的概率包含总体 参数的真实值。参数的置信区间< - 工； 工、方法：预先选择一个概率 a <0 < a < D ,使得区间'Al _ JLi 台J包 含参数真值的概率为I-Q即p Rj3 = 14 X S n ft jul计算其中的七（ 从而求出1-。置信度下° J的置信区间：CP j - X Spr M + # X " ）掌握概念：置信区间 置信度显