线性回归推导及实例

1、数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的 相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系 并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含董以及测 试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合=小族(2-1-1)我们称(2-1-1)式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，(2-1-1)式有无穷 多组解，回归分析的任务是求出其最佳的线性拟合。二、最小二乘法原理如果把用回归方程+计算得到的卜I 值(i=1,2,-n)称为回归值

2、，那么实际测量值y,与回Zw归值了 i之间存在着偏差，我们把这种偏差称为残差，记为e.(i=1,2,3,-,n)o这样，我们就可以用残差平方和来度量测董值与回归直线的接近或偏差程度。残差平方和定艾为：(2-1-2)Q三Q,b)=升 匕净北一?i)茲咅(旳-么_ D吗)彳所谓置小二乘法，就是选择a和b使Q(a,b)H小.即用最小二乘法得到的回归直线y = a DX 是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a, b的二次函数，所以它的最小 值总是存在的。下面讨论的a和b的求法。三、正规方程组I财根据微分中求极值的方法可知，Q(a,b)取得最小值应满足(2-1-

3、3)由(2-1-2)式，并考虑上述条件，則2-1X=-2一 a -妊応=0(2-1-4)2-1(2-1-4)式称为正规方程纽。解这一方程组可得(2-1-5)其中(2-1-6)几=£山一可(必一刃必一-($>)(£”)|2-12-1 X 2-12-1厶 £(召-灭)=1>/冷(1>)2(2-1-7)(2-1-8)(2-1-9)2i-1冷 2-1式中，Lx,称为xy的协方差之和，-称为x的平方差之和。如果改写(2TT)式，可得=0?_蚣)+&或由此可见，回归直线是通过点(兀另) 的，即通过由所有实验测量值的平均值组成的点。从力学观点看, (心

4、刃 即是N个散点(厲，必)的重心位置。现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出a=1231.65b=-2236. 63因此，在例1中灰铸铁初生奧氏体析出温度(y)与氮含董(x)的回归关系式为y=1231.65-2236. 63x四、一元线性回归的统计学原理如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即E(Y|x.x)=f(x)(2-1-10)这里方程f (x)称为Y对X的回归方程。如果回归方程是线性的，则E(Y|x-&#

5、171;) = a + 3x(2-1-11)或Y二 a + Bx+E(2-1-12)其中E 一随机误差从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计式来取代(2_1_11)式，用参数a和b分别作为a和B的估计量。那么，这两个估计量是否能够满足要求呢？1. 无偏性把(x,y)的n纽观测值作为一个样本，由样本只能得到总体参数a和B的估计值。可以证明，当满足下 列条件：(1) (Xi, y.)是n个相互独立的观测值(2) E，是服从)分布的随机变量则由罠小二乘法得到的a与b分别是总体参数a和B的无偏估计，即E(a)= aE(b) = 0由此可推知)=E (y)

6、/S即y是回归值，在某点的数学期望值。2. a和b的方差可以证明，当n组观测值(x.,yi)相互独立，并且D(y.) = a2-吋，a和b的方差为(2-1-13)无2i2rl 牙 1%)=+ = - + i-1Xi(2-1-14)以上两式表明，a和b的方差均与x,的变动有关.Xi分布越宽，则a和b的方差越小。另外a的方差还与 观测点的数量有关，数据越多，a的方差越小。因此，为提鬲估计量的准确性，x,的分布应尽量宽，观测 点数量应尽量多。建立多元线性回归方程，实际上是对多元线性模型(2-2-4)进行估计，寻求估计式(2-2-3)的过程。 与一元线性回归分析相同，其基本思想是根据置小二乘原理，求解

7、% 叽鸟 使全部观测值必 与回 归值X 的残差平方和达到最小值。由于残差平方和(2-2-5)是如,知易的非负二次式,所以它的最小值一定存在。Q =工(刀一 NF =工” 一包十坊兀L十乞无2 +色忌) 2-1 2-1工H - (妬+俎勺以2靭i-1-(给+滋心+妇玛2n工一 0十知心十如玛2U-1十十如督)兮=0(2-2-6)(2-2-6)式称为正规方程纽。它可以化为以下形式根摇极值原理，当Q取得极值时,(n刃由(2-2-5)式，即满足工”+外呂1以2召2 ©%) =02-1»”XXX呱+ （工心问+ （工心202 +屏厂D iJi-1iJi-L（工引）俎+ （工粗1亠（&

8、#187;冋沟+亠（艺阴）妇=工可必 i-1i-1i-1i-1i-1(2-2-7)如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有2-1X1- 12- 12-1工聞2工心皿2-1 2-12-1n工和召22-1nZ42-1rl心1心2心,1A21- 01BaX32a勺1 g(2-2-8)式中X是多元线性回归模型中数据的结构矩阵，是结构矩阵X的转置矩阵。（2-2-7）式右端常数项也可用矩阵D来表示 即(2-2-9)因此（2-2-7）式可写成Ab 二 D(2-2-10)(2-2-11)(X% 迪=XY如果A满秩(即A的行列式 国)那么A的逆矩阵A'存在.则由(2-10)式和(2-1

9、1)式得“ 的最小二乘估计为b = AD =XY(2-2-12)也就是多元线性回归方程的回归系数。为了计算方便往往并不先求,再求b,而是通过解线性方程组(2-2-7)来求b。(2-2-7) 是一个有p+1个未知量的线性方程纽，它的第一个方程可化为(2-2-13)% =歹-勾元1一&5鬲一一妇召式中(2-2-14)将(2-2-13)式代入(2-2-7)式中的其余各方程，得乙禹十厶少之十.十厶丿尹=厶” 2 A + 云22“2 += 2y亠岛十乙加十十£殍劣=Lfy(2-2-15)其中j =工厂亏)(心一耳"工兮 - (工亏)工*) 2-12-1必 2-12-1

10、7;M1n5=工(兮-亏)3 -刃=三兮X - - (工心(2-2-16)2-1 2-1 2-1 2-1将方程组(2-2-15)式用矩阵表示，则有Lb二F(2-2-17)其中Al 厶2 Lf#21 厶2 厶F b=aF=aI®】匚賢)%、叽于是b=L1F(2-2-18)因此求解多元线性回归方程的系数可由(2-2-16)式先求出L,然后将其代回(2-2-17)式中求解。 求b吋，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入(2-2-18)式，由于要先求 出L的逆矩阵，因而相对复杂一些。例2-2-1表2-2-1为某地区土壤含植物可给态磷（y）与土壤所含无机磷浓度（xj. 土

11、壤溶于K2CO3溶液 并受涣化物水解的有机磷浓度（X以及土壤溶于K2CO3溶液但不溶于涣化物的有机磷（xj的观察数据。求y 对X1.X2. X3的线性回归方程 o表2-2-1 土壤含磷情况观察数据许本序号丄攘中2磷呈P土摄中植披可给 态讎y&£三o三010.4521586420.4J 1636023 1IQFJ40.634157615r加5954久1 ak 12?J79.44446SI010.131ir93Q11.629173931U125允112j11：10.93711：?61223.146114961523.13013477P21.644%931523.15616895I

12、t.1.9St145j41726.85c2021581229.95112499计算如下:由（2-2-16）式厶1 = £仏-石）（心-元J = H52.96i-1厶2 =工（心-牙 1）（张-才2）= 1085.61 =乙212-1厶厂工见-局）见-為）=1200 = 41 2-1IsF "“竄 r)3 出) = 1752.961-1Xy hm(0 im)(e 期)h 3364 h y rl4; m3 I 鉀)3 I E H 35572£F hmf 773231.400匸?MM3 e(x y) =2216.44 rlrM S (势 ex$ yY75937-1

13、63;(22丄 5) s(1752.966疔-HOMS.6IP +12000 Hsc=Q5.6t43155.7cop +3364, u 2216.441200$ 十 3364P 十 35572P "7593卅s苫制當床逵幕b廉*儘进這料翥逹Cr3II> 1 1II>1 -少'II>1 -Z Z t>1 占忆二E E ZKKS4尸、QA P A iiiz z zZ2Lyywz z zWyKz z 卜3 2 P y y yZ Z E 恩恰订MME§>II屠ALAH111o E E Z»总吕忘E Z Z S" W K Ki

14、ip H P 書一可2 IPQ h 43.67 回过2盘这(21219)(2220)j) =43.67 + 1.7848 - 0.0834x2 十 01611心一、多项式回归方法假设变董y与x的关系为p次多项式，且在人处对y的随机误差 ®(i=1,2,-,n)服从正态分布N(0,疔)，则yt=o + 01 心+ 0?忒 + 色(2-4 叨令X.FX., Xi2=X.2, , X,p=X.P则上述非线性的多项式模型就转化为多元线性模型，即犷00+ 妫心2 + §(2-4-10这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问題了。其系数矩阵、结构 矩阵、常数项矩阵分

15、别为%工无IX工秽'A=X'X = (2-4-11)(2-4-12)(2-4-13)回归方程系数的眾小二乘估计为(2-4-14)b=A-iB=(jrrjr)_12T 需要说明的是，在多项式回归分析中，检验bj是否显著，实质上就是判斷x的j次项X对y是否有显著 影响。对于多元多项式回归问题，也可以化为多元线性回归问题来解决。例如，对于戸=00十也十02%十$3盘十04耳1比2十05為十十E(2-4-15)令 X<1=Z|1, x(2二乙2, Xi3=Zi/, X(4=ZilZi29 X,5=Zi22 则(2-4-15)式转化为戸=00十£ 1兀1十02若2十防込十

16、.十E转化后就可以按照多元线性回归分析的方法解决了。 下面我们通过一个实例来进一步说明多项式回归分析方法。一.应用举例例2-4-2某种合金中的主要成分为元素A和B,试脸发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表2-4-3给出的试验数据找出y与x之间的回归关系。表2-4-3 例2-4-2试验数据序号Xy137.03. 40237.53. 00338.03. 00438.52. 27539.02. 10639.51.83740.01.53840.51.70941.01.801041.51.901142.02. 351242.52. 541343.02. 90首先画出散点图（图2

17、-4-3） o从散点图可以看出，y与x的关系可以用一个二次多项式来描述:i=1,2,3-,13图2-4-3 例2-4-2的散点图 令Xii=Xi, Xi2=Xi则戸=00十戸1吗1十022十弓现在我们就可以用本篇第二幸介绍的方法求出000102 的置小二乘估计。由表2-4-3给出的数据，求出鬲=40 屁=1603.57iy = 2.3323由(2-2-16)式厶1 =工仇一和2 =45.5i-l厶厂乞仏一屁尸= 29132513i-L厶2 =乞（心-天 1）（兀2厂屁）=咒40i-1©】=厶厂3640厶厂亍忌-鬲）（” -刃=-4.87i-1G厂工仁古一元2）（” 一刃=- 368.

18、33i-1鼻=$厂刃2 =42212i-1由此可列出二元线性方程纽(45.+3640 =-4.87(3640! + 291325.13 = -368.83将这个方程组写成矩阵形式，并通过初等变换求b2和系数矩阵L的逆矩阵：364045.5-4.871 013640 291325.13-368.83 0 10 -13.385451.12510.16598-0.63933-0.6393287.9916XW3于是bF-13. 3854b2=0. 16598b0=2. 3323+13. 3854 x 40-0. 16598x1603. 5=271.599因此y = 271.599- 13.3854x + 0.165982下面对回归方程作显著性检验:由(2-2-43)式= 3.9640S"由（2-2-42）式S厂4沁S 縄=1»丫厂 S «=0. 2572将上述结果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表方差来源平方和均方显著姓回归3. 964021. 982077. 06*剩余0