多元回归分析法的介绍及具体应用

1、多元回归分析法的介绍及具体 应用作者:日期:多元回归分析法的介绍及具体应用在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量 之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类 型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间 序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的 是多元线性回归分析法。1 .多元线性回归的定义说到多元线性回归分析前，首先介绍下医院回归线性分析 ，一元线性回归分 析是在排除其他影响因素或假定其他影响因素确定的条件下 ，分析某一个因素（自变量）是如何影响另一事物（因变量）的过程，所进行的分

2、析是比较理想化的。 其实，在现实社会生活中，任何一个事物（因变量）总是受到其他多种事物（多个 自变量）的影响。一元线性回归分析讨论的回归问题只涉及了一个自变量 ，但在实际问题中， 影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还 要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个 自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素之 问相关关系的问题。研究在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关 系

3、，称为多元线性回归分析，表现这一数量关系的数学公式 ，称为多元线性回归 模型。多元线性回归模型是一元线性回归模型的扩展， 其基本原理与一元线性回归 模型类似，只是在计算上更为复杂，一般需借助计算机来完成。2 .多元回归线性分析的运用具体地说，多元线性回归分析主要解决以下几方面的问题。（1）、确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它们之间合适的数学表达式；（2）、根据一个或几个变量的值，预测或控制另一个变量的取值，并且可以知道这种预测或控制能达到什么样的精确度；（3）、进行因素分析。例如在对于共同影响一个变量的许多变量（因素 ）之 问，找出哪些是重要因素，哪些是次要因素，这些

4、因素之间又有什么关系等等。3 .多元线性回归分析3.1 多元线性回归分析的原理回归分析是一种处理变量的统计相关关系的一种数理统计方法。 回归分析的 基本思想是：虽然自变量和因变量之间没有严格的、确定性的函数关系 ，但可以 设法找出最能代表它们之间关系的数学表达形式。3.2 多元线性回归模型及其矩阵表示设y是一个可观测的随机变量，它受到p个非随机因索xi, X2，xp和随机因素 的影响，若y与, X2,，xp有如下线性关系：y 01X1pXp（i.i）其中o, i,，p是p 1个未知参数，是不可测的随机误差，且通常假定p N （0,2）.我们称式（1.1）为多元线性回归模型.称y为被解释变量（因

5、变量），xi 1,2, ,p）为解释变量（自变量）.称 E（y） 03pxp?（1 . 2）为理论回归方程.对于一个实际问题，要建立多元回归方程，首先要估计出未知参数o,一，p,为此我们要进行n次独立观测，得到n组样本数据（冷,为2, ,xip；yi）,i 1,2, ,n,他们满足式（1. 1）,即有小01 x112x12px1 p1y201 x212x22px2p2(1.3)yn01 xn12xn2pxnpn其中1, 2, n相互独立且都服从N(0, 2).式(1. 3)又可表示成矩阵形式：Y X(1.4 )这里，y (yi,y2, ,yn)T,( 0, 1, , p)T ,(1, 2n)T

6、 Nn(0, 3n), In为n阶单位矩阵.1x11x121x21x22X1pX2pXn1Xn2Xnp可用最小二乘法来估计，即我们选择(0, 1, p)T使误差平方和nQ( )?i2i 1n(yii 1(YX )T(Y01Xi12 Xi2Xip)2达到最小.由于Q()是关于o, 1p的非负二次函数,因而必定存在最小值,n (p 1)阶矩阵X称为资料矩阵或设计矩阵，并假设它是列满秩的，即 rank (X) p 1 .由模型(1.3)以及多元正态分布的性质可知，Y仍服从n维正态分布，它的期 望向量为X ,方差和协方差阵为2In, SPY - Nn(X , 2In).3.3 参数的最小二乘估计及其表

7、示1.参数的最小二乘估计p仍然与一元线性回归时的一样，多元线性回归方程中的未知参数利用微积分的极值求法，得Q( ?)0Q( ?)n2 (Yii 1n2 (Yii 11 xi11xi12xi22 xi2p xip )p xip ) xi 1Q( ?)(Yi1xi12 xi2pxip ) xkQ( ?)(Yi-ixii2 xi2p xip ) xip这里？(i 0,1, ,p)是i(i0,1,p）的最小二乘估计.上述对Q（）求偏导,求得正规方程组的过程可用矩阵代数运算进行，得到正规方程组的矩阵表示：XT(Y X?) 0移项得XTX? xty(1.5)称此方程组为正规方程组.派据假定R(X) p 1

8、,所以R(XtX) R(X) p组(1 .5)得1 .故（XTX） 1存在.解正规方程(XTX)1xty(1.6)称？0Zx12x2；xp为经验回归方程.支.误差方差2的估计（拟合值）为?等自变量的各组观测值代入回归方程，可得因变量的估计量 y? （?,Y2,幻）2 X?向量e Y Y Y X? In X(XTX) 1XTY (In H)Y称为残差向量，其中H X(XTX)1XT为n阶对称幕等矩阵，In为n阶单位阵.称数 eTe YT(In H)Y YTY ?TXTY 为残差平方和(Error Su m of Squares ,简写为 SSE).刘于 E(Y) X 且(In H)X 0,则E(

9、eTe) Etr T(In H) tr(In H )E( T)-2T 1 T? trIn X(X X) X ? ?2n tr(XTX) 1XTX?2(n p 1)1从而？2 1eTe为2的一个无偏估计. n p 13. 4逐步回归当自变量的个数不多时，利用某种准则，从所有可能的回归模型中寻找最优 回归方程是可行的.但若自变量的数目较多时，求出所有的回归方程式很不容易 的.为此，人们提出了一些较为简便实用的快速选择最优方程的方法，我们先根 据“前进法”和“后退法”的思想，再详细介绍“逐步回归法”。1 .前进法和后退法前进法：设所考虑的回归问题中，对因变量y有影响的自变共有m个，首先将 这m个自变

10、量分别与y建立m个一元线性回归方程，并分别计算出这 m个一元 回归方程的偏F检验值，记为F1F2“，Fm1),若其中偏F值最大者(为方便 叙述起见，不妨设为F1)所对应的一元线性回归方程都不能通过显著性检验 ，则 可以认为这些自变量不能与y建立线性回归方程；若该一元方程通过了显著性检 验，则首先将变量Xi引入回归方程；接下来由y与X以及其他自变量xj(j 1)建 立m 1个二元线性回归方程对这m 1个二元回归方程中的x2,x3U|,xm的回归系 数做偏F检验，检验值记为F2(2),F3(2) ,|F,若其中最大者(不妨设为F2(2) 通过了显著性检验，则又将变量X2引入回归方程，依此方法2续下

11、去，直到所有未 被引入方程的自变量的偏F值都小于显著性检验的临界值，即再也没有自变量能 够引入 回归方程为止.得到的回归方程就是最终确定的方程.后退法：首先用m个自变量与y建立一个回归方程，然后在这个方程中剔除 一个最不重要的自变量，接着又利用剩下的 m 1个自变量与y建立线性回归方程，再剔除一个最不重要的自变量，依次进行下去，直到没有自变量能够剔除为 止.前进法和后退法都有其不足，人们为了吸收这两种方法的优点，克服它们的 不足，提出了逐步回归法.2,逐步回归法逐步回归法的基本思想是有进有出，具体做法是将变量一个一个得引入，引入变量的条件是通过了偏F统计量的检验,同时，每引入一个新的变量后，对

12、已 入选方程的老变量进行检验，将经检验认为不显著的变量剔除，此过程经过若干 步，直到既不能引入新变量，又不能剔除老变量为止.设模型中已有l 1个自变量，记这l 1个自变量的集合为A,当不在A中的一 个自变量Xk加入到这个模型中时，偏F统计量的一般形式为(2 . 1)一个用作选取自变F SSRA) SSRA,Xk)SSRXk| A)-SSE(A,xk) n-|-1MSE(A,xk)如下逐步回归法的具体步骤首先，根据一定显著水平,给出偏 统计量的两个临界值, 量，记为Fe;另一个用作剔除自变量，记为Fd . 一般地，取Fe Fd ,然后按下列步骤进行(2.2)现一步：对每个自变量X。i m),拟合

13、m个一元线性回归模型y o iX这时，相当于统计量(2.1)中集合A为空集，因此，SSE(A) SST,故SSRx A) SSF(Xi) , MSE(A,Xi) MSE(Xi),对每一个 i ,计算巳斜 12Mhm(2.3)设(1) (1)lmaX Fi若F1(1) Fe,则选择含自变量Xi1的回归模型为当前模型，否则，没有自变量能进入模型，选择过程结束，即认为所有自变量对 的影响均不显著.现二步：在第一步的选出模型的基础上，再将其余的m 1个自变量分别加入到此模型中个，得到m 1个二元回归方程，计算SSRxJxii)Fi T， 1 1lMSE(xh,x)(2.4)设(2) (2) iFi2m

14、ax Fi i 1* F2)Fe ,则选取过程结束.第一步选择的模型为最优模型.若F Fe ,则将 自变量xi2选入模型中，即得第二步的模型y 0/i2xi2(2.5 )好一步考察，当为2进入模型后，xi对y的影响是否仍然显著.为此计算FiSSR% 四 )MSE(xiiA)(2 .6)* Fi：2)Fd,则剔除xii .这时仅含有河的回归模型为当前模型.比三步：在第二步所选模型的基础上，在将余下的m 2个自变量逐个加入，拟 合各个模型并计算F统计量值，与Fe比较决定是否有新变量引入，如果有新变量 进入模型，还需要检验原模型中的老变量是否因这个新变量的进入而不再显著 那样就应该被剔除.重复以上步

15、骤，直到没有新的自变量能进入模型，同时在模型之中的老变量 都不能剔除，则结束选择过程，最后一个模型即为所求的最优回归模型4 .多元线性回归分析实现过程多元线性回归分析实现过程如下图建立模型模型检验 方差分析 模型预测 模型总结5 .多元线性回归分析案例利用多元线性回归分析研究此后影响中国人口自然增长的主要原因，分析全国人口增长规律，与猜测中国未来的增长趋势。为了全面反映中国“人口自然增长率”的全貌，选择人口自然增长率作为被 解释变量，以反映中国人口的增长；选择“国名收入”及“人均GD P”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。 国名总收入，居民消费价格指

16、数增长率，人均GDP乍为解释变量暂不考虑文化程 度及人口分布的影响。通过对表1的数据进行分析，建立模型。具模型表达式为：丫出 2X2i3X3 5 (i=1,2 , , 3)其中Y表示人口自然增长率，Xi表示国名总收入，X2表示居民消费价格指 数增长率，X3表示人均G DP根据以往经验和对调查资料的初步分析可知，Y与 X】X , X3呈线性关系，因此建立上述三元线性总体回归模型。Xi则表示各解释 变量对税收增长的贡献。仙i表示随机误差项。通过上式，我们可以了解到，每个 解释变量增长1亿元，粮食总产值会如何变化，从而进行财政收入预测。（如下图 表1）年份人口自然增长率（。）Y国民总收入（亿元）X1

17、居民消费价格指数增长率（CPI ）%X 2人均GDP（元）X31 9 8815.731503718.81366198 915.1919901 4.391871 83. 116441 99112.98218263.41 89319921 1.62 6 9376 .42 3111 99311.4535 2 6014. 72 9 98199411.21481 0 824. 14044199 510.5 55981117.15 04 61 9961 0. 4 2701428.358461 9 9710.0 6780612 . 8642019989.1483 0 24-0.8679 6199 98 .1

18、8884 7 9-1 . 47 15 92 0 007.5 89 80000.47 8 5820016. 9 51080 6 80. 78622200 26 .451190 9 6-0.89 39 82 0036.0 11 3 51 7 41. 21 054 220045.871 5 95 8 73.91233 62 0055.891840891 . 81404 020065 .382131321. 51 60 2 420 0 75.242 3 53 6 71 . 717535200 85.452776541. 919264利用上表中的数据，运用eview软件，采用最小二乘法，对表中的数据进行 线性回归，对所建模型进行估计从