一元线性回归模型与多元线性回归模型对比

1、一元线性回归模型多元线性回归模型总体回归函数即总体回归模型（总体回归函数的随机表达形式） 即样本回归模型（样本回归函数的随机表达形式） 即样本回归函数 即 给定一组容量为n的样本则，上述式子可以写成：给定一组容量为n的样本，则上述式子可以写成：总体回归函数总体回归模型样本回归模型样本回归函数样本回归函数的离差形式解释变量的个数（包括常数项）2个： C，Xk+1个： C，基本假定假设1：回归模型是正确设定的。模型设定正确假设。假设2：确定性假设。解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。:确定性假设。解释变量是非随机或固定的，且各之间不存在严格线性相关（无完全多重共线性）。假设

2、3： 样本变异性假设。对解释变量X抽取的样本观察值并不完全相同。 样本方差趋于常数假设。样本变异性假设。各解释变量在所抽取的样本中具有变异性。 样本方差趋于常数假设。随着样本容量的无限增加，各解释变量的样本方差区域一个非零的有限常数。假设4：随机误差项零均值、同方差、不序列相关假设。随机误差项零均值、同方差、不序列相关假设。 假设5：随机误差项与解释变量不相关。随机误差项与解释变量不相关。假设:6：正态性假设。随机项服从正态分布。正态性假设。随机项服从正态分布。参数估计一元线性回归模型多元线性回归模型普通最小二乘估计（OLS）残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值：(

3、普通最小二乘估计的离差形式)随机干扰项的方差的估计量残差平方和达到最小，得到正规方程组，求得参数的普通最小二乘估计值(普通最小二乘估计的离差形式)随机干扰项的方差 最大似然估计(ML)矩估计（MM）参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量与OLS不同参数估计值估计结果与OLS方法一致，但随机干扰项的方差的估计量参数估计量的性质线性性、无偏性、有效性线性性、无偏性、有效性参数估计量的概率分布-样本容量问题-样本容量n必须不少于模型中解释变量的个数（包括常数项），即才能得到参数估计值，时t分布才比较稳定，能够进行变量的显著性检验，一般认为活着至少时才能满足模型估计要求。如果样

4、本量过小，则只依靠样本信息是无法完成估计的，需要用其他方法去估计。统计检验一元线性回归模型多元线性回归模型拟合优度检验总离差平方和的分解TSS=ESS+RSS，越接近于1，拟合优度越高。总离差平方和的分解TSS=ESS+RSS，（即总平方和中回归平方和的比例）对于同一个模型，越接近于1，拟合优度越高。（调整的思路是残差平方和RSS和总平方和TSS各自除以它们的自由度）为什么要对进行调整?解释变量个数越多，它们对Y所能解释的部分越大（即回归平方和部分越大），残差平方和部分越小，越高，由增加解释变量引起的的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度， 就不是一个合适的指标，必须加以调整

5、。方程总体显著性检验-目的：对模型中被解释变量与解释变量之间的线性关系在总体上是否成立做出判断。原假设H0:1=0，2=0，k=0备择假设：H1：jj=1,2,k不全为零统计量的构造：F=ESSkRSS(n-k-1)F(k,n-k-1)判断步骤：计算F统计量的值给定显著性水平，查F分布的临界值表获得F(k,n-k-1) 比较F与F的值，若F>F,拒绝原假设，认为原方程总体线性关系在1-的置信水平下显著。若FF，接受原假设，不能认为原方程总体线性关系在1-的置信水平下显著。变量的显著性检验目的：对模型中被解释变量对每一个解释变量之间的线性关系是否成立作出判断，或者说考察所选择的解释变量对被

6、解释变量是否有显著的线性影响。针对某解释变量Xj，原假设:H0:j=0,备择假设：H1:j0最常用的检验方法: t检验构造统计量:t=j-jSj t(n-k-1)判断步骤：计算t统计量的值给定显著性水平，查t分布的临界值表获得t2(n-k-1)比较t值与t2的值，若t>t2,拒绝原假设，认为变量Xj在1-的置信水平下通过显著性检验（或者说，在的显著性水平下通过检验），认为解释变量Xj对被解释变量Y有显著线性影响。若tt2，接受原假设，在显著性水平下没有足够证据表明Xj对Y有显著线性影响。参数的置信区间目的：考察一次抽样中样本参数的估价值j与总体参数的真实值j的接近程度。思路：构造一个以样本参数的估计值j为中心的区间，考察它以多大的概率包含总体参数的真实值。方法：预先选择一个概率（0<<1），使得区间j-，j+包含参数真值j的概率为1-即Pj-jj+=1-计算其中的（=t2×Sj），从而求出1-置信度下j的置信区间：（j-t2×Sj，j+t2×Sj）掌握概念：置信区间 置信度 显著性水平实际应用中，我们希望置信度越高越好，置信区间越小越好（说明估计精度越高）