一元线性回归分析和多元线性回归分析

1、一元线性回归分析和多元线性回归分析1. 一元线性回归分析简单介绍当只有一个自变量时，称为一元回归分析(研究因变量y和自变量x之间的相关关系)；当自变量有两个或多个时，则称为多兀回归分析(研究因变量y和自变量Xi,X2,，Xn之间的相关关系)。如果回归分析所得到的回归方程关丁未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。2. 回归分析法的基本步骤回归分析法的基本步骤如下：(1) 搜集数据。根据研究课题的要求，系统搜集研究对象有关特征量的大

2、量历史数据。由丁回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准确性都直接影响到回归分析的结果。(2) 设定回归方程。以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基础。(3) 确定回归系数。将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。这一步的工作量较大。(4) 进行相关性检验。相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。一般有R检验、t检验和F

3、检验三种方法。(5) 进行预测，并确定置信区问。通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也需要给出该单点预测值的置信区问，使预测结果更加完善。一元线性回归分析的数学模型用一元线性回归方程来描述Xi和yi之间的关系，即yia。aXii(i=1,2,，n)(2-1)式中，Xi和yi分别是自变量x和因变量y的第i观测值，a。和a是回归系数,观测点的个数，i为对应丁y的第i观测值y,的随机误差。假设随机误差i满足如下条件：服从正态分布；i的均值为零,即Ei0:i的方差等丁2；各个i问相互独立，即对丁任何两个随

4、机误差i和j，其协方差等丁零，即,covi,j0ij。基丁上述假定，随机变量的数学期望和方差分别是匚««I-?EyiaoaiEx>(2-2)J2|如果不考虑式中的误差项，我们就得到简化的式子yiaoaiX(2-3)该式称为y对x的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。回归参数的估计回归模型中的参数ao与ai在一般情况下都是未知数，必须根据样本观测数iyi乂。要使模型的拟合状态最好,据x,yi来估计。确定参数ao与ai值的原则是要使样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。为此

5、，可以采用最小二乘法的办法来解决。对应丁每一个为，根据回归直线方程式(2-3)可以求出一个y，它就是yi的一个就是说要使n个偏差平方和最小为标准来确定回归模型。为了方便起见，记yiiiX|%y，2,Bix2，aynniXn则式(2-i)用矩阵形式表示为yBa估计值。估计值和观测值之间的偏差aoai(2-4)设V为误差的负估值，称为y的改正数或残差,a为回归参数a的估值,则可以写出类似丁参数平差的误差方程VBay(2-5)根据最小二乘原理VTVmin，求自由极值,(2-6)将误差方程(2-5)代入,(2-7)记SyyV2VvtvT2VtBaBtV0即得法方程为BTBanVni1SxxBTy一2n

6、x,一2ny，Sxyxinxy1nx-2Sxxnx丁是可得回归参数的最小二乘估值为btbnxny_nxybtbBTy(2-8)即1Sxxnxnx一ny_1Sxynxy1ySxxSxyxSxy参数a0与a1的具体表达形式为(2-9)a。yXSxy/Sxx3|Sxy"Sxx求出参数ao与ai以后，就可以得到一元线性回归模型ya。ax(2-10)由此，只要给定了一个x值，就可以根据回归模型求得一个*作为实际值*的预测值。3. 精度分析1n2yiyin2ii对丁给定的为，根据回归模型就可以求出yi的预测值。但是用yi来预测y的精度如何，产生的误差有多大是我们所关心的。这里采用测量上常用的精度

7、指标来度量回归方程的可靠性。一个回归模型的精度或剩余标准离差定义式为VTV(2-11)由丁参数的个数是2,观测值总数是n，多余观测是n2,因此式中分母是n2o运用估计平均误差可以对回归方程的预测结果进行区间估计。若观察值围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在的范围内,有95.45%的点落在2的范围内，有99.73%的点落在3的范围内。根据参数平差理论可知,a的协因数矩阵为QBtBaa1Sxxnxnx4. (2-12)从而，a的方差估值为a0-2xSxx(2-13)2ai20sxx线性回归效果的显著性检验是线性回归方程的显著性对一元线性回归模型的统计检验包括两个内容：检验

8、；二是对回归系数进行统计推断。在一元线性回归分析中,线性回归效果的好坏取决丁y与x的线性关系是否密切。若lail越大，y随x的变化趋势就越明显；若|ai|越小，y随x的变化趋势就越不明显。特别的，当ai。时，意味着y与x之间不存在线性相关关系，所建立的线性回归方程没有意义。所以，只有当a0时，y与x之间才有线性相关关系，所建立的线性回归方程才有实际意义。因此，对线性回归效果好坏的检验，就归结为对统计假设H°：ai0；Hi：a10的检验。若拒绝H°,就认为线性回归有意义；若不能拒绝H。，就认为线性回归无意义。下面介绍两种检验方法：F检验法和相关系数检验法。i. F检验法进行F

9、检验的关键在丁确定一个合适的统计量及其所服从的分布。当原假设成立时，根据F分布的定义可知nVii2yy/n一Fi,n22(2-i4)当给定显著性水平=0.05或0.0i，由F分布分位数值表得临界值Fii,n2,由样本观测值计算出统计量F的实测值。若FFii,n2，则以显著水平拒绝H。；若FFii,n2则以显著水平接受H0O一般按下述标准判断。(1) 若FF0.99i,n2,则认为线性回归方程效果极显著。(2) 若F°.95i,n2FF°.99i,n2,则认为线性回归方程效果显著。(3) 若FF0.951,n2,则认为线性回归效果不显著。2. 相关系数检验法相关系数检验法是通

10、过y与x之间的相关系数对回归方程的显著性进行检验的，由样本观测值，即Xi,yi,X2,y2,Xn,yn,可以得到相关系数的实测值为n_SxxSyyXXyiyi17XiXyiyi1i1(2-15)相关系数0r1,现作如下进一步分析。(1) 当r。时，SXy。，因而a10,此时线性回归方程ya0a1xa0,表明y与x之间不存在线性相关关系。(2) 当0|r|1时，y与x之间存在一定的线性相关关系，当r。时，a10,此时称y与x正相关；当r0时，a10,此时称y与x负相关；当|r|越接近丁。时，此时y与x的线性关系越微弱；当|r|越接近丁1时，此时y与x的线性关系越强。当|r|=1时，y与x完全线性

11、相关，表明y与x之间存在确定的线性函数关系；当r=1时，称y与x正相关；当r=-1时，称y与x负相关。当给定显著性水平=0.05或0.01,由P|r|r1n21(2-16)来判断线性回归方程的效果。若本观测值算出的相关关系实测值ran2,则以显著性水平的关系拒绝H0;若r1n2，则以显著性水平的关系接受H°。一般按下述标准判断。(1) 若rr0.99n2,则认为线性回归方程效果极显著。(2) 若r0,5n2rR.99n2,则认为线性回归方程效果显著。(3) 若rro.95n2,则认为线性回归效果不显著。临界值rin2可由下式确定r,n2血"；22厂2(2-17)设某线性回归

12、问题的自变量5. 实例解算(1)回归方程的建宜由表中数据计算得为和观测值乂的数据如表2-1所示，试求其回归方程。xixyix%i1nxy1186.91162.7224.18SxySxx24.18372.40.06493ya1x3.380.0649334.41.1464a0丁是，就得到一元线性回归模型12345678910xi25272932343635394245yi2.82.93.23.23.43.23.33.73.94.2表2-10解1n一为ni13441034.4,y1nyini133.83.3810n为i1-2xn2xii1-2nx12208101183.36372.4nV2yn2yi

13、2ny115.9610114.2441.716x1ni1ny1.14640.06493x计算y值。结果列丁表2-2中表2-212345678910xi25272932343635394245yi2.82.93.23.23.43.23.33.73.94.2yi2.772.903.033.223.353.483.423.683.874.07Vi0.030.000.17-0.020.05-0.28-0.120.020.030.13精度评定单位权中误差为"14370.134.8回归方程系数中误差计算如下。a的权倒数1Q-30n-2xSxx11034.4372.40.192,Q311xx137

14、2.40.0027a的方差估值为212*1300n-2xSxx0.0034,a110sXX0.0104.84105其中误差为300.059,显著性检验设310.022原假设H°a1备选假设当原假设为真时，有因多余观测（自由度）nyii11.56930.134/893.78,查表得F。.991,811.26，显然FF0.991,8,原假设不成立，所求得的线性回归效果极显著。如果本例用相关系数检验法对线性回归效果进行显著性检验，可用式(2-15)计算，即Sy24.18rSXXSyy0.9565.372.41.7161. 由式(2-17)计算相关系数临界值rin20.765,由丁r0.95

15、650.765故y与x的线性(正)相关关系极显著，此结果与F检验法得到的结论完全一致多元线性回归分析数学模型多元线性回归分析是研究一个因变量与多个自变量之间线性相关关系的统计分析方法。多元线性回归考虑到多个自变量对因变量的影响，能够更真实地反映现象之间的相互关系。假设一个随机变量y与m个非随机变量x之间存在线性相关关系，则它们之间的关系可以用多元线性回归模型来表示，即ya。aiXi82X2amXm(3-1)式中，y是因变量，Xi(i1,2,m)是自变量,a,(i0,1,2,m)是模型的参数，称为回归方程的系数。是随机误差。与一元线性回归模型类似，如果多元线性回归模型中的误差项服从正态性，并具有

16、无偏性，MN0,2,WJEy8081X182X2amXm(3-2)J2y由此可见，yNEy,2。2. 多元线性回归方程的确定多元线性回归模型的参数a(i0,1,2,m)及2在一般情况下都是未知数，必须根据样本观测数据来估计。假设我们进行了n次观测，得n组观测数据(yMjXj,g),j1,2,n。它们应有的回归关系可写为*a。&凶1a?X21amXm11Ay?a。4x12a?X22amXm22(3-3)yna。aX1na2X2namXmnnJ记y11a01X11X21Xm1y22a11X12X22Xm2y，a,Bynnam1心X2nXmn则式(3-3)用矩阵形式表示为yBa(3-4)与其

17、对应的误差方程为VBay(3-5)根据最小f原理VTVmin,法方程为BTBaBTy(3-6)丁是可得回归参数的最小二乘估值为T1TaBBBy(3-7)其中当求出回归参数角i0,1,2,m后，就可以得到多元线性回归模型yia。axia?*?amxmbtbnX1iX1i2X1iXmiyiWiX1iXmiBTy2XmiX1iXmiXmiXmiyi(3-8)3. 由此，只要给定了Xi的值，就可以根据回归模型求得yi作为实际值yi的预测值精度分析多元线性回归模型的中误差定义式为n2yiyi/T、/iivVnm1'nm1(3-9)观测值个数是n，参数个数为m1，多余观测为nm1,因此上式分母根据

18、参数平差理论可知，a的协因数矩阵为T1QBBaa(3-10)从而，a的方差估值为2a0Qaa(3-11)至丁y的方差，同样根据参数平差理论可得2y0BQBtaa4. (3-12)多元线性回归效果的显著性检验与一元线性回归模型一样，在得到多元线性回归模型以后也需要对模型中所包含的变量是否确实与因变量之间存在线性相关关系，以及回归模型的拟合效果如何进行分析检验。主要考察y，y2,yn与X1,X2,Xm是否具有线性相关关系，即需要检验统计假设Ho：aa2am0;H1：a，a2,am不全为零(3-13)对丁给定的显著性水平',若拒绝H。，就认为这个m元线性整体回归效果显著；若不能拒绝H。，就认

19、为这个m元线性整体回归效果不显著。为了进行上述检验，关键在丁确定一个合适的统计量及其所服从的分布，着盗方一元线性回归检验，多元线性回归整体检验统计量为n_2yy/mfn眼丁统计量,(3-i4)查表可得Fim,n若FFim,nm需要指出的是,yi2yi/nFi,则以显著水平对丁多元回归来说,Fm,nmiim,nmi,贝U以显著水平拒绝H。;接受Ho。线性回归效果仅说明ai,a2,am不全为零,但有可能接近丁零。也就是说，多元回归效果显著是就总体而言的，并不意味着各自变量Xi对因变量yi的影响都是显著的，因此有必要从原来的回归方程中剔除那些无显著性影响的自变量，重新建立更为理想的线性回归方程。为此

20、，在检验完整体回归效果显著之后，还必须就每个自变量Xi对因变量乂的线性影响是否显著进行检验，其检验统计假设Ho：ai0Hi:ai0ii,2,m(3-i5)对丁多项式回归模型(3-i6)只要设axiy2aoaiX2a2X2amX222mynaoaiXna2XnamXmnziiZi2ZimXi2XimXiZ2iZ22Z2mX22X2mX2Zn2mZniZn2mXnXnXn2mz2a2XiViaomamXi(3-i7)就可以按线性回归方法进行回归计算。5. 举例解算以某楼A1点累计沉降量为因变量，时间间隔和承受的荷载为自变量进行回归分析，设时间间隔为自变量X1,承受的荷载为自变量X2,累计变化为因变

21、量丫，利用EXCESS件的一工具中回归分析功能进行回归分析。时间间隔荷栽案Tt1、机基01m151.5-0.4721122.e-0.5841143.5-0,326105-1.17111Q7.5-L353198.5-1.4231710T.56911411-L04212L3-1.7141915-1.852110ie-1.9011616-2.19711516-2.212115ie-2.31bl经计算得到：如下图的结果方羞分析dfSSMSFmificanc3F回归分析26.3284323.164216101.78162.9eE-08残差120.373060,031083总计146.701491Coef

22、ficieii'标准误差tStatF-ValtieLower拓MT叫er9豌T限95.01上暇95.0*Intercept-0.126130.1449S1脆9940.401S75-0.44202Cl1S97E4442020.199754时间间隔-0.019270,012163-L5G4710.139017-0.045780.007226-。,045780.00722b4心何就-0.10831.00992TO,91761.3SZ-(7-0.12992-0.08669.-0.129920.0M669观测值测累计下沉量残差标谁残差1-0.2344366570.2344371.4361522-化57770%660.105710.C47574