一元线性回归模型与多元线性回归模型对比

1、一元线性回归模型多元线性回归模型总体回归函数E(YIX)0XE(Y即EXi,X2 Xk)0iXi2X2kXk(YIX)Xe总体回归模型 (总体回归函数的 随机表达形式)Y E(YIX)01XY E(YlXi,X2 Xk)即 Y Xe 0 iXi2X2k X k样本回归模型 (样本回归函数的 随机表达形式)Y?iX eY?0?Xi?,X2?kXk e即 Y Xee样本回归函数Y 和?iXY ?0 ?Xi ?2X2?kXk即y? X 给定一组容量为 n 的样本(X1,Y1),(X2,Y2), (Xi ,Yi), (Xn,Yn)贝上述式子可以写成：(Xii,Xi2, Xik,Yi),(X2i,X22

2、,X2k,Y2),给定一组容量为n的样本，(Xii,Xi2, Xik,Yi)(Xn i , X n 2 ,X n k , Yl)则上述式子可以写成：总体回归函数E(YiXi)0iXiE(YiXii,Xi2Xik)0iX ii2X i 2kXik总体回归模型Yi E(YlXi) i0IXiiYE(YJXii,Xi2Xik)i0iXii2Xi2kXi ki样本回归模型Yi?iXi eiY 兔？Xii ?Xi2?kXik ei样本回归函数Yi 彳?iXiY)?0?iXii?2Xi2?kXik样本回归函数的离 差形式? Xiy Xe解释变量的个数 (包括常数项)2 个：C, Xk+i 个：C, Xi,

3、X2, X k基本假定假设1 :回归模型是正确设定 的。模型设定正确假设。假设2:确定性假设。解释变量 X是确定性变量，不是 随机变量，在重复抽样确定性假设。解释变量Xi,X2, Xk是非随机或固定的， 且中取固定值。：各X j之间不存在严格线性相关(无完全多重共线性)。假设3: 样本变异性假 设。对解释变量X抽取的样本 观察值并不完 全相同。 样本方差趋于 常数假设。 样本变异性假设。各解释变量Xj在所抽取的样本中具有变异性。 样本方差趋于常数假设。随着样本容量的无限增加，各解释变量的样本方差区域 一个非零的有限常数。假设4:随机误差项零均值、 同方差、不序列相关假 设。随机误差项零均值、同

4、方差、不序列相关假设。假设5:随机误差项与解释变 量不相关。随机误差项与解释变量不相关。假设：6:正态性假设。随机项服 从正态分布。正态性假设。随机项服从正态分布。参数估计一元线性回归模型多元线性回归模型普通最小二乘估计(OLS)残差平方和达到最小，得到正规方程组，求得 参数的普通最小二乘估 计值：?Xiyi1 2Xi(普通? 一？ 一?0 Y ?iX最小二乘估计的离差形式)随机干扰项的方差的估 计量2?2 e-n 2残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值 (XX) 1XY (XX)- 1xy彳 Y ?XikXk(普通最小二乘估计的离差形式 )2随机干扰项的方差 ？2

5、 een k 1 n k 1最大似然估计(ML) 矩估计(MM )I参数估计值估计结果与OLS方法一致，但随机 干扰项的方差的估计量与OLS不 同2?2ein参数估计值估计结果与 OLS方法一致，但随机干扰项的方差2的估计量？2eLn参数估计量的性质线性性、无偏性、有效 性线性性、无偏性、有效性参数估计量的概率分布2?N( ,)XiX 2?0N( o,i2 2)n Xi-样本容量问题样本容量 n必须不少于模型中解释变量的个数(包括常数 项)，即n k 1才能得到参数估计值，n-k 8时t分布才比较稳定，能够进行变量的显著性检验，一般认为n 30活着至少n 3k 1时才能满足模型估计要求。如果样

6、本量过小，则只依靠样本信息是无法完成估计的，需要用其他方法 去估计。统计检验一元线性回归模型多元线性回归模型拟合优度检验总离差平方和的分解TSS=ESS+RSS,2ESSR，TSSR20,1越接近于1，拟合优度越高。总离差平方和的分解TSS=ESS+RSS2 ESSRSSR2 1，(即总平方和中回归平方和的比例 )TSSTSS2 2R0,1对于同一个模型， R越接近于1 ,拟合优度越高。-91 RSS (n k 1)R1 (调整的思路是残差平方和 RSS和总平方和TSSTSS/( n 1)各自除以它们的自由度)2为什么要对 R进行调整？解释变量个数越多，它们对 Y所能解释的部分越大(即回归平方

7、和部分越大)，残差平方和部分越小，R 2越高，由增加解释变量引起的R2的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度，R2就不是一个合适的指标，必须加以调整。方程总体显著性检 验目的：对模型中被解释变量与解释变量之间的线性关系在总 体上是否成立做出判断。原假设 H0: = 0， 2 = 0， = 0备择假设：HI: (j= 1,2,k)不全为零ESS?k统计量的构造：F= RSS7(n,k.1) F(k, n- k- 1)判断步骤：计算F统计量的值给定显著性水平 查F分布的临界值表获得 F (k, n- k- 1)比较F与F 的值，若F> F,拒绝原假设，认为原方程总体线性关系

8、在1 - 的置信水平下显著。若F F,接受原假设，不能认为原方程总体线性关 系在1 - OC的置信水平下显著。目的：对模型中被解释变量对每一个解释变量之间的线性关系是否成立作出判断，或者说考察所选择的解释变量对被解释变量是否有显著的线性影响。针对某解释变量Xj,原假设：Ho： j = 0,备择假设：Hi： j 0最常用的检验方法：t检验构造统计量:t = j ?(? ?- 1)?為？判断步骤：计算t统计量的值 给定显著性水平 查t分布的临界值表获得t;(n - k - 1)变量的显著性检验 比较t值与t 的值，2若t > t ,拒绝原假设，认为变量Xj在1 -曲勺置信水平下通过显著性检验

9、(或者2说，在的显著性水平下通过检验)，认为解释变量Xj对被解释变量 Y有显著线 性影响。若t t ,接受原假设，在显著性水平下没有足够证据表明Xj对Y有显著线性2 j影响。目的：考察一次抽样中样本参数的估价值j与总体参数的真实值 的接近程度。思路:构造一个以样本参数的估计值j为中心的区间，考察它以多大的概率包含总体参数的真实值。方法：预先选择一个概率 (0 < ?< 1),使得区间(电-, j+ 包含参数真值的概率为 1 - 即 P(j - j + ) 1 - 计算其中的( = t × ?),从而求出1 - 置信度下的置信区间：( - 参数的置信区间2?钢勺Ht × ? ?j + t × ?)掌握概念：置信区间置信度显著性水平实际应