第4章_回归分析ppt课件

1、第四章第四章 回归分析回归分析分形地形分形地形何谓回归分析？何谓回归分析？ 回归分析的义务就是经过大量实验与实践观测数据，经过分析研讨，找出随机变量间的内在规律。通常把这种变量间的相互关系又称为回归关系。有关回归关系的计算与实际就称为回归分析。回归分析所要处理的问题回归分析所要处理的问题 1知随机变量之间的统计函数方式，而未知详细函数，根据长期实际阅历，根据函数的方式适当估计未知的参数就行了。 2知随机变量之间具有相关性，未知变量之间的函数方式。首先要确定随机变量之间的统计函数方式，然后再估计函数中的未知参数。第一节第一节 一元线性回归分析一元线性回归分析一、最小二乘法求回归方程系数一、最小二

2、乘法求回归方程系数 设设y与与x有关系：有关系： y=a+bx目的：确定目的：确定a,b,使方程直线与观测值吻合使方程直线与观测值吻合拟合最好。拟合最好。处理方法：处理方法： 用最小二乘法构造目的函数用最小二乘法构造目的函数 3)(4min)y(yQ(a,b)2n1iii 根据微积分求极值原理：根据微积分求极值原理：函数对未知量的导数等于零。函数对未知量的导数等于零。4)(40)xbxa(y2bQ0)bxa(y2aQn1iiiin1iii 7)4(xbya 8)(4)x(x)yy)(x(xxnxyxnyxbn1i2iin1iin1i22in1iii 经整理：经整理：二、回归方程的详细计算二、回

3、归方程的详细计算 公公式式4 4- -8 8 即即化化为为10)(4/llbxxxy 为为 了了 方方 便便 计计 算算 机机 实实 现现 ， 记记9)(4)y(n1y) y(yl)y)(x(n1yx) y)(yx(xl)x(n1x)x(xln1in1i2i2in1i2iyyn1in1in1iiiiin1iiixyn1in1i2i2in1i2ixx 计算步骤：计算步骤： 1 1根据给定数据根据给定数据xi,yi;i=1,2.nxi,yi;i=1,2.n ( (通常作成数据文件通常作成数据文件),),计算计算 2. 2. 根据根据(4-10)(4-10)式和式和(4-7) (4-7) 式求式求出

4、出b,a,b,a,得到回得到回 归方程归方程线性回归关系的数学表达，线性回归关系的数学表达， 式中式中a a为截距，而为截距，而b b为回归系为回归系数。数。yyxyxxlllyx,三、回归方程显著性检验三、回归方程显著性检验 n1i2idn1i2irn1i2it)y(yS)yy(S)y(yS13)(412)(411)(4令14)(4 drtSSS存在：2(4 16)2tRnt 利用利用t的临界值表，可以制出的临界值表，可以制出R的临界值的临界值即相关系数检验表。假设算得即相关系数检验表。假设算得R的的绝对值超越绝对值超越R的临界值，那么以为的临界值，那么以为x与与y存在线性关系；假设存在线性

5、关系；假设r的绝对值小于临界的绝对值小于临界值，那么以为值，那么以为x与与y没有线性关系。没有线性关系。1. R 检验法检验法 2 2F F检验法检验法假设：假设：“x x与与y y没有线性关系没有线性关系, ,统统计量：计量：drddrrS)S(n/fS/fSF2 服从服从F(1,n-2)分布。式中分布。式中fr为回归平方和的为回归平方和的自在度自变量个数自在度自变量个数p；fd为偏向平方和为偏向平方和的自在度的自在度n-p-1；ft为总离差平方和的为总离差平方和的自在度自在度n-1。 四、用回归方程进展预测与控制定义：定义：2=Sd/fd， 那那么有么有。的的概概率率为为；的的概概率率为为

6、；的的概概率率为为%7 .9933%4 .9522%3 .68000000000 yyyyyyyyyxbayxbay22在平面上做平行于回归直线作两条直线在平面上做平行于回归直线作两条直线:全部能够的观测值全部能够的观测值y中，将有中，将有95的点的点子落在这两条直线所夹的带子内子落在这两条直线所夹的带子内. 五、 运用实例 表表4 4- -1 1C Cr r2 2O O3 3( (% %) )7 7. .1 13 36 6. .6 66 63 32 2. .2 21 16 6. .6 67 79 9. .1 10 09 9. .4 44 4O Os s( (g g/ /t t) )0 0.

7、.0 02 23 30 0. .0 02 20 00 0. .0 08 84 40 0. .0 01 18 80 0. .0 02 23 30 0. .0 02 23 3C Cr r2 2O O3 3( (% %) )8 8. .4 46 65 5. .4 42 22 27 7. .9 90 01 11 1. .1 17 71 14 4. .1 11 12 22 2. .6 68 8O Os s( (g g/ /t t) )0 0. .0 02 25 50 0. . 9 90 0. .0 06 64 40 0. .0 02 21 10 0. .0 03 31 10 0. .0 05 50 0

8、河北某矿区获得12个矿样，测得其含Cr2O3和Os之间的数据如表4-1所示1.13.412,0.03342,907.9486,2.0770,0.0049512.2.0770 / 907.94860.0022880.0033420.00228813.4120.00274xxxyyyxylllba计 算 出 ：，0.010.010.010.013.0.002740.0022884.0.98,(10)0.708,(10);237.77,(1,10)10.04,yxRRRRFFFF回归方程为：显著性检验：而回归方程非常显著；而显然亦表明回归方程非常显著。第二节第二节 多元线性回归分析多元线性回归分析一

9、、用最小二乘法确定回归平面一、用最小二乘法确定回归平面(或超平面或超平面)m个自变量个自变量 x1，x2，,xm与因变量与因变量 y之间的之间的关系关系,设为设为)184(.22110mmxbxbxbby使得实践观测值使得实践观测值 yt与平面与平面(4-18)上相应的值上相应的值yt之间的偏向平方和最小：之间的偏向平方和最小：)194(min)(21ttntyyQ)204(0).(2.0).(20).(2221110122111012211100mtmtmttnttmtmtmttnttmtmttnttxxbxbxbbybQxxbxbxbbybQxbxbxbbybQ与一元线性回归类似，对系数求

10、导：与一元线性回归类似，对系数求导：将将4-214-21展开整理，解得展开整理，解得)214 (.22110mmxbxbxbyb)224(.02211202222121101212111mmmmmmmmmmlblblbllblblbllblblbl后后m个方程写成下面正规方程组个方程写成下面正规方程组011()()(1,2.,)()()( ,1,2,.,)nitjtjtnijitijtjtlyyxximlxxxxi jm式中式中正规方程组解出未知数正规方程组解出未知数b1,b2,bm,得回归方程：得回归方程：)234(.22110mmxbxbxbby二、回归方程的显著性检验二、回归方程的显著性

11、检验1.F1.F检验检验 由于由于 St=Sr+SdSt=Sr+Sd，统计，统计量量mSmnSFdr) 1(服从服从F(m,n-m-1)分布。分布。2. 相关系数检验相关系数检验复相关系数复相关系数R)244( trSSR显著性检验方法与一元回归分析完全一样。显著性检验方法与一元回归分析完全一样。三、用回归方程进展预测和控制三、用回归方程进展预测和控制同样做与回归平面平行的两个平面同样做与回归平面平行的两个平面:mmbxbbybxbby.2:.2:11021101那么观测数据将以那么观测数据将以95%的概率落在上的概率落在上述两平面之间。述两平面之间。)254( ddfS由于由于问题讨论问题讨

12、论 回归分析的本质就是根据随机变量的回归分析的本质就是根据随机变量的n次实践观测数次实践观测数据采样寻觅因变量与自变量间的相关关系的数学据采样寻觅因变量与自变量间的相关关系的数学模型。那么，由此所建立的数学模型各种类型的方模型。那么，由此所建立的数学模型各种类型的方程对原始数据在多大程度上具有代表性呢？怎样判程对原始数据在多大程度上具有代表性呢？怎样判别？有几种方法？别？有几种方法？ 当变量之间具有非线性性质时，通常怎样处置？当变量之间具有非线性性质时，通常怎样处置？ 举例阐明之。举例阐明之。第三节第三节 逐渐回归分析逐渐回归分析一、数据的规范化一、数据的规范化 给定一组实践观测数据 x1t，

13、x2t,xkt,yt(t=1,2,n)作如下变换)304 (),.,2 , 1,.,2 , 1(,ntkiyyvxxuyttiiitit1)(11),.,2, 1(1)(11),.,2, 1(,1,100121211nlyynkinlxxnkiynyxnxntityiintiitinttntiti?得到新数据得到新数据 u1tu2t,ukt,vt(t=1,2,n) u1tu2t,ukt,vt(t=1,2,n)称为规范化数据，显然有称为规范化数据，显然有0.121vuuuk)314(.02211202222121101212111kkkkkkkkkklalalallalalallalalala0

14、=0,其它回归系数满足下面正规方程组其它回归系数满足下面正规方程组)324(),.,2 , 1 , 0, (),.,2 , 1() 1()(1)(),.,2 , 1, () 1()(1)(00011011kjilllrkilllnyyxxvvuulkjilllnxxxxuuuuljjiiijijiiitntiityitntiitijjiiijjjtntiitjijjtntiitij?)314(.02211202222121101212111kkkkkkkkkkrarararrarararrararar上述正规方程组中的每个方程两边上述正规方程组中的每个方程两边同除以同除以n-1,那么正规方程组

15、化为那么正规方程组化为 从方程组(4-31)解得规范回归系数(ai,i=1,2，,k),再经过新老回归系数之间的关系)324(100000ttktttttttxallyballb求出求出bt,t=0,1,2,k。 二、选入变量与剔除变量的原那么 1首先根据详细情况，确定选入变量和剔除变量的规范 Fl和F2(FlF2)，作为检验每个变量的F检验的临界值。 2从一个回归方程中添加一个新变量 xi，那么回归平方和添加(剩余平方和减少)，用pi表示新回归平方和与原回归平方和之差：oldrnewriSSP 对于不在原回归方程中的变量xi，假设 F(n-k-l)piSdnewF1,那么要素xi对 y起重要

16、作用，该当引入到新回归方程中，否那么就不该当引入。 对于已在新回归方程中的变量xi，假设 F(n-k-l)piSdnewF2,那么要素 xi对 y的作用已不显著，该当重新回归方程中剔除。3在回归方程中，引入一个变量或剔除一个在回归方程中，引入一个变量或剔除一个变量，偏回归平方和都要起变化。剔除变量变量，偏回归平方和都要起变化。剔除变量时，不应同时把一切偏回归平方和不显著的时，不应同时把一切偏回归平方和不显著的因子全部一次剔除，而只剔除偏回归平方和因子全部一次剔除，而只剔除偏回归平方和最小的同时又不显著的那一个要素。然后，最小的同时又不显著的那一个要素。然后，重新计算剩下各要素的偏回归平方和，再

17、剔重新计算剩下各要素的偏回归平方和，再剔除偏回归平方和最小同时又不显著的一个要除偏回归平方和最小同时又不显著的一个要素，如此反复，直到不能剔除要素为止。素，如此反复，直到不能剔除要素为止。 4假设回归方程中，曾经没有需求剔除的要素，那么该当思索能否选入变量。5选入一个新变量后，新回归方程中又能够选入一个新变量后，新回归方程中又能够出现相形见拙的要素，该当再进展剔除任务，出现相形见拙的要素，该当再进展剔除任务，如此选入与剔除反复进展，直到回归方程中如此选入与剔除反复进展，直到回归方程中既没有可剔除的要素，亦无可引入的要素为既没有可剔除的要素，亦无可引入的要素为止。止。三、逐渐回归的详细计算步骤三

18、、逐渐回归的详细计算步骤 第0步：求出相关系数矩阵111111111111.kkkkkkkkkkkkrrrrrrrrrA 对相关系数矩阵A进展一系列求逆与求解紧凑的消元变换),(),(),()(1vjirrrrvjvirrvjvirrvjirrvvvjivijvvivvvvjvvij求逆与求解紧凑的消元变换求逆与求解紧凑的消元变换第第1 1步：选择第一个变量进入回归方程步：选择第一个变量进入回归方程调查一切自变量的偏回归平方和调查一切自变量的偏回归平方和),.,2 , 1(/) 0(2) 0(1) 0(kirrpiiiki取其中最大者，比如为取其中最大者，比如为pm1(0),然后求出然后求出F

19、,)0(1)0(11)0(1)2(mkkmprpnF将将F与与F1比较：比较：(1). 假设假设FF1,引入变量引入变量xm1,令令v=m1,对对A(0) 做求逆与紧凑消元变换。做求逆与紧凑消元变换。(2). 假设假设FF1,引入引入xm2,令令v=m2,对对A(1)进展求进展求逆逆 与紧凑变换，得与紧凑变换，得A(2)。(2) 假设假设F=F1,回归终了。从回归终了。从A(1)得到：得到： 规范回归系数规范回归系数am1(1)=rm1k+1(1)； 剩余平方和剩余平方和Sd(1)=r(1)k+1k+1,自在度自在度fd(1)=n-2；回归平方和回归平方和Sr(1)=1-r(1)k+1k+1,Sr(1)=1-r(1)k+1k+1,自在度自在度fr(1)=1fr(1)=1；复相关系数复相关系数R(1)=(1-rk+1k+1(1)1/2R(1)=(1-rk+1k+1(1)1/2；回归方程为