多元回归分析法介绍和具体应用

多元回归分析法的介绍及具体应用在数量分析中.经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的.就需要利用相关分析和回归分析。回归分析的主要类型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。1. 多元线性回归的定义说到多元线性回归分析前.首先介绍下医院回归线性分析.一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下.分析某一个因素（自变量）是如何影响另一事物（因变量）的过程.所进行的分析是比较理想化的。其实.在现实社会生活中.任何一个事物（因变量）总是受到其他多种事物（多个自变量）的影响。一元线性回归分析讨论的回归问题只涉及了一个自变量.但在实际问题中.影响因变量的因素往往有多个。例如.商品的需求除了受自身价格的影响外.还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。因此.在许多场合.仅仅考虑单个变量是不够的.还需要就一个因变量与多个自变量的联系来进行考察.才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。研究在线性相关条件下.两个或两个以上自变量对一个因变量的数量变化关系.称为多元线性回归分析.表现这一数量关系的数学公式.称为多元线性回归模型。多元线性回归模型是一元线性回归模型的扩展.其基本原理与一元线性回归模型类似.只是在计算上更为复杂.一般需借助计算机来完成。2. 多元回归线性分析的运用具体地说.多元线性回归分析主要解决以下几方面的问题。（1）、确定几个特定的变量之间是否存在相关关系.如果存在的话.找出它们之间合适的数学表达式；（2）、根据一个或几个变量的值.预测或控制另一个变量的取值.并且可以知道这种预测或控制能达到什么样的精确度；（3）、进行因素分析。例如在对于共同影响一个变量的许多变量（因素）之间.找出哪些是重要因素.哪些是次要因素.这些因素之间又有什么关系等等。3. 多元线性回归分析3.1多元线性回归分析的原理回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是： 虽然自变量和因变量之间没有严格的、确定性的函数关系.但可以设法找出最能代表它们之间关系的数学表达形式。3.2多元线性回归模型及其矩阵表示设是一个可观测的随机变量.它受到个非随机因索,和随机因素的影响.若与,有如下线性关系： （1.1）其中,是个未知参数.是不可测的随机误差.且通常假定.我们称式（1.1）为多元线性回归模型.称为被解释变量（因变量）.为解释变量（自变量）.称 （1.2）为理论回归方程.对于一个实际问题.要建立多元回归方程.首先要估计出未知参数,.,为此我们要进行 次独立观测.得到组样本数据.他们满足式（1.1）.即有 （1.3）其中相互独立且都服从.式（1.3）又可表示成矩阵形式： （1.4）这里.为阶单位矩阵.阶矩阵称为资料矩阵或设计矩阵.并假设它是列满秩的.即.由模型（1.3）以及多元正态分布的性质可知.仍服从维正态分布.它的期望向量为.方差和协方差阵为.即. 3.3参数的最小二乘估计及其表示1. 参数的最小二乘估计与一元线性回归时的一样.多元线性回归方程中的未知参数仍然可用最小二乘法来估计.即我们选择使误差平方和达到最小.由于是关于的非负二次函数.因而必定存在最小值.利用微积分的极值求法.得这里是的最小二乘估计.上述对求偏导.求得正规方程组的过程可用矩阵代数运算进行.得到正规方程组的矩阵表示：移项得（.）称此方程组为正规方程组依据假定.所以故存在解正规方程组（.）得（.）称为经验回归方程2误差方差的估计将自变量的各组观测值代入回归方程.可得因变量的估计量（拟合值）为向量称为残差向量.其中为阶对称幂等矩阵.为阶单位阵称数为残差平方和（rror Sum of Squares,简写为SSE）由于且.则从而为的一个无偏估计3.4 逐步回归 当自变量的个数不多时.利用某种准则.从所有可能的回归模型中寻找最优回归方程是可行的.但若自变量的数目较多时.求出所有的回归方程式很不容易的.为此.人们提出了一些较为简便实用的快速选择最优方程的方法.我们先根据“前进法”和“后退法”的思想.再详细介绍“逐步回归法”。1.前进法和后退法前进法：设所考虑的回归问题中.对因变量有影响的自变共有个.首先将这个自变量分别与建立个一元线性回归方程.并分别计算出这个一元回归方程的偏检验值.记为.若其中偏值最大者（为方便叙述起见.不妨设为）所对应的一元线性回归方程都不能通过显著性检验.则可以认为这些自变量不能与建立线性回归方程；若该一元方程通过了显著性检验.则首先将变量引入回归方程；接下来由与以及其他自变量建立个二元线性回归方程对这个二元回归方程中的的回归系数做偏检验.检验值记为.若其中最大者（不妨设为）通过了显著性检验.则又将变量引入回归方程.依此方法继续下去.直到所有未被引入方程的自变量的偏值都小于显著性检验的临界值.即再也没有自变量能够引入 回归方程为止.得到的回归方程就是最终确定的方程.后退法：首先用个自变量与建立一个回归方程.然后在这个方程中剔除一个最不重要的自变量.接着又利用剩下的个自变量与建立线性回归方程.再剔除一个最不重要的自变量.依次进行下去.直到没有自变量能够剔除为止.前进法和后退法都有其不足.人们为了吸收这两种方法的优点.克服它们的不足.提出了逐步回归法.2. 逐步回归法逐步回归法的基本思想是有进有出.具体做法是将变量一个一个得引入.引入变量的条件是通过了偏统计量的检验.同时.每引入一个新的变量后.对已入选方程的老变量进行检验.将经检验认为不显著的变量剔除.此过程经过若干步.直到既不能引入新变量.又不能剔除老变量为止.设模型中已有个自变量.记这个自变量的集合为.当不在中的一个自变量加入到这个模型中时.偏统计量的一般形式为 （2.1）如下逐步回归法的具体步骤：首先.根据一定显著水平.给出偏 统计量的两个临界值.一个用作选取自变量.记为；另一个用作剔除自变量.记为.一般地.取.然后按下列步骤进行.第一步：对每个自变量.拟合个一元线性回归模型 (2.2)这时.相当于统计量（2.1）中集合为空集.因此.故.对每一个.计算 （2.3）设若.则选择含自变量的回归模型为当前模型.否则.没有自变量能进入模型.选择过程结束.即认为所有自变量对 的影响均不显著.第二步：在第一步的选出模型的基础上.再将其余的个自变量分别加入到此模型中个.得到个二元回归方程.计算 （2.4）设若.则选取过程结束.第一步选择的模型为最优模型.若.则将自变量选入模型中.即得第二步的模型 （2.5）进一步考察.当进入模型后.对的影响是否仍然显著.为此计算 （2.6）若 .则剔除.这时仅含有的回归模型为当前模型.第三步：在第二步所选模型的基础上.在将余下的个自变量逐个加入.拟合各个模型并计算统计量值.与比较决定是否有新变量引入.如果有新变量进入模型.还需要检验原模型中的老变量是否因这个新变量的进入而不再显著.那样就应该被剔除.重复以上步骤.直到没有新的自变量能进入模型.同时在模型之中的老变量都不能剔除.则结束选择过程.最后一个模型即为所求的最优回归模型。4. 多元线性回归分析实现过程多元线性回归分析实现过程如下图：建立模型模型总结参数估计方差分析模型预测模型检验5. 多元线性回归分析案例利用多元线性回归分析研究此后影响中国人口自然增长的主要原因.分析全国人口增长规律.与猜测中国未来的增长趋势。为了全面反映中国“人口自然增长率”的全貌.选择人口自然增长率作为被解释变量.以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。国名总收入.居民消费价格指数增长率.人均GDP作为解释变量暂不考虑文化程度及人口分布的影响。通过对表1的数据进行分析.建立模型。其模型表达式为： （i=1.2.,3）其中Y表示人口自然增长率.X1 表示国名总收入.X2表示居民消费价格指数增长率.X3表示人均GDP.根据以往经验和对调查资料的初步分析可知.Y与X1.X2 .X3呈线性关系.因此建立上述三元线性总体回归模型。Xi则表示各解释变量对税收增长的贡献。i表示随机误差项。通过上式.我们可以了解到.每个解释变量增长亿元.粮食总产值会如何变化.从而进行财政收入预测。（如下图表1）年份人口自然增长率（%。)Y国民总收入（亿元）X1居民消费价格指数增长率（CPI）%X2人均GDP（元）X3198815.731503718.81366198915.0417001181519199014.39187183.11644199112.98218263.41893199211.6269376.42311199311.453526014.72998199411.21481082455598111742701428.35846199710.06780612.8642019989.1483024-0.8679619998.1888479-1.4715920007.58980000.4785820016.950.7862220026.45-0.8939820036.011.21054220045.873.91233620055.891.81404020065.381.51602420075.241.71753520085.451.919264利用上表中的数据.运用eview软件.采用最小二乘法.对表中的数据进行线性回归.对所建模型进行估计从估计结果可得