逐步回归分析(教材)

第6节逐步回归分析逐步回归分析实质上就是建立最优的多元线性回归方程，显然既实用而应用又最广泛。6.1逐步回归分析概述1概念逐步回归模型是以已知地理数据序列为基础，根据多元回归分析法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之间变化关系的最优回归模型。逐步回归分析是指在多元线性回归分析中利，用求解求逆紧奏变换法和双检验法，来研究和建立最优回归方程的并用于地理分析和地理决策的多元线性回归分析。它实质上就是多元线性回归分析的基础上派生出一种研究和建立最优多元线性回归方程的算法技巧。主要含义如下1）逐步回归分析的理论基础是多元线性回归分析法；2）逐步回归分析的算法技巧是求解求逆紧奏变换法；3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法；4）逐步回归分析的核心任务是建立最优回归方程；5）逐步回归分析的主要作用是降维。主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评价等等。2最优回归模型1）概念最优回归模型是指仅包含对因变量有显著影响的自变量的回归方程。逐步回归分析就是解决如何建立最优回归方程的问题。2）最优回归模型的含义最优回归模型的含义有两点：（1）自变量个数自变量个数要尽可能多，因为通过筛选自变量的办法，选取自变量的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越好，这也是提高回归模型分析效果的重要条件。（2）自变量显著性自变量对因变量y有显著影响,建立最优回归模型的目的主要是用于预测和分析，自然要求自变量个数尽可能少，且对因变量y有显著影响。若自变量个数越多，一方面预测计算量大，另一方面因n固定，所以QTS增大，即造成剩余标准差增大，故要求自变量个数要适n一k一1Q中。且引入和剔除自变量时都要进行显著性检验使，之达到最优化状态，所以此回归方程又称为优化模型。3最优回归模型的选择方法最优回归模型的选择方法是一种经验性发展方法，主要有以下四种：（1）组合优选法组合优选法是指从变量组合而建立的所有回归方程中选取最优着其具体过程是：（1）建立变量组合的所有回归方程（2）优选回归方程首先对每一个方程及自变量均作显著性检验，优选原则：自变量全部显著，剩余标准差较小，既可选得最优回归方程。2）剔除优选法剔除优选法适指从包含全部自变量的回归方程中逐个剔除不显著自变量而求得最优回归方程的优选方法。其具体过程是：（1）建立多元回归方程（2）优选回归方程剔除自变量的原则是先求取偏回归平方和最小者并作显著性检验若不显著则剔除。终止原则是直至不显著自变量剔除完为至，而仅保留对因变量y有显著影响的自变量。3）引入优选法引入优选法是指将所有自变量经显著性检验而逐个引入对因变量有显著影响的自变量的优选方法。其具体过程是：（1）建立一元回归方程（2）优选回归方程引入原则是偏相关系数绝对值最大者，引入后并进行显著性检验若显著则继续引进自变量，直至再无显著自变量引进为止。4）逐步回归分析法逐步回归分析法是指运用回归分析原理采用双检验原则逐，步引入和剔除自变量而建立最优回归方程的优选方法。具体含义是：（1）每步有二个过程即引进变量和剔除变量，且引进变量和剔除变量均需作F检验后方可继续进行，故又称为双重检验回归分析法。（2）引入变量引入变量的原则是未引进变量中偏回归平方和最大者并经F显著性检验，若显著则引进，否则终止。（3）剔除变量剔除原则是在引进的自变量中偏回归平方和最小者，并经F检验不显著，则剔除。（4）终止条件即最优条件，再无显著自变量引进，也没有不显著自变量可以剔除，这也是最优回归方程的实质。由此可知，它并没新的理论，只是多元回归分析基础上派生出的一种算法技巧。现在就来介绍逐步回归分析的具体建模原理和方法步骤6.2逐步回归分析的数学模型逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。6.2.1变量重新编号1新编号数学模型令y二x，自变量个数为k-1，则其数学模型为：aakxx+Bx+Bx+...+Bxak01a12a23a3k-1ak-1式中，a=l，2，3,…，nn：样本个数其中：

S=工(x-X)2TOC\o"1-5"\h\zOkkS=工(X-x)2UOkkS=S-S=工(x-X)2QUOkkx的偏回归平方和为：jccjjX:为X的算术平均值kOkb：x的偏回归系数jjC：为逆矩阵L-1对角线对应元素jj2回归数学模型新编号的回归数学模型为：x=b+bx+bx+bx+…+bxk0112233k-1k-16.2.2标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1标准化回归数学模型令z=xoJ-xj=l，2,3,•…，kOjSj其中：1x«x=—乙xjnOjO=1S=厂=乞（x-x）2!为离差平方和的方根JjJOJJ注意：l，厂,S2,S它们之间的区别，即离差平方和，离差平方jjJjjj

和的方根，方差，标准差。则回归数学模型为：z=3'+3'z+3'z+3'z+…+3'zak01a12a23a3k-1ak-12标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为+zazaza厂“、z4a343za?+zazaza厂“、z4a343za?、/f1232aaa+zazz标+...+z%，=工z3ak-1k-1ak+么zz舟,+...+匕zza1a33a1ak-1+0zz43'+...+么a343川R+么z2R+…+么2a33%'=工zzk-1a1akzzA'=乂a2ak-1k-1zz=乙zza3ak-1k-1a3akzza2ak⑤z%'k-10zzTa1ak-11zza2ak-1zz%'+...+@2a3ak-13z2ak-1'=工zzk-1ak-1ak因为，工zaj工(x.-x)0Sj工zij工(x-x)(x-x)a!iajj=rijSSij所以上述正规方程组可变为：TOC\o"1-5"\h\zn0'+0+0+0+...+0=000+r3'+r3'+r3'+...+r3'=r1111221331k-1k-11k0+r3'+r3'+r3'+…+r3'=r2112222332k-1k-12k0+r3'+r3'+r3'+…+r3'=r3113223333k-1k-13k0+r3'+r3'+r3'+...+r3'=rk-111k-122k-133k-1k-1k-1k-1k这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为：r3'+r3'+r3'+…+r3'=r1111221331k-1k-11kr3'+r3'+r3'+…+r3'=r2112222332k-1k-12k<r3'+r3'+r3'+…+r3'=r3113223333k-1k-13kr3'+r3'+r3'+…+r3'=rlk-111k-122k-133k-1k-1k-1k-1k这样，数据标准化后3'的估计值应为0，并3'=d令，则可得0jjX=1X=112k—1rd+rd+rd+..・+rd二r1111221331k—1k—11krd+rd+rd+・..+rd二r2112222332k—1k—12krd+rd+rd+・,・・+rd:二r3113223333k—1k—13krd+rdJk-111k-122+rd+...+rdk-133k-1k-1k-1阵。其中:二rk-1krrr…r'1112阵。其中:二rk-1krrr…r'11121k—1R=r2122…r2k—1称为相关系数矩r'k—11rk—12…r‘k—1k一1丿r1kr2krk-1k解此方程组，即可求出d,d,d,…123,d，k-1故可得标准化后的回归模型为：z=dz+dz+…+dk1122标准化的回归模型的矩阵形式：z

k-1k-1x一x—n1S1_x一x-^11S1_x一x—311S1x一xn1LSx一x122S2_x一x222S2_x一x32—S2x一xk一1k一1Sk-1_x一xk—1k—1Sk-1_x一xk—1k一1Sk-1x一xnk—1k—1Sx一x—1kkS

k_

x一x

~^2kkS

k_x一x—1kkS

k_

x一x

~^2kkS

k_

x一x

—3kkSkn00...0—0n0rr・r11121k-10rr・・・r—•2122.2k-10R0rr・r一一-k-11k-12k-1k-1-A=XX=x一x—nkkSk6.2.3标准化前后回归模型的关系1标准化前后的回归模型1）标准化前后回归模型为：x=b+bx+bx+bx+…+bk01122332)标准化后回归模型为：xk-1k-1z=dz+dz+...+dz

k1122k-1k-12标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知令z=「j代入标准化前的回归模型可得:jSj/\x-x,x-x,x-x,x-x—kk—d.—11+d.—22+・・・+d.―k~1k~1S1S2Sk-1Sk12k-1整理后得：x—(xkk22Sk-Sk-1dx)k-1k-1TOC\o"1-5"\h\zSSS+—kdx+kdx+•…+——dxS11S22Sk-1k-112k-1x=b+bx+bx+bx+…+bxk0112233k-1k-1将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：b=—kd]SJJj=l,2,3,・・・k—lb=x-七'bx0kjjj=1于是，只要求出d,即可求出b，今后仅讨论标准化后的回归模jj型。3标准化后的各种离差平方和S'=—S=1

S2k

kS'=丄SuS2ukS'=丄SQS2Qk6.3求解求逆紧凑变换法逐步回归分析每引进和剔除一个变量都要用到求解求逆紧奏变换法进行矩阵变换，最后求出方程组的解和逆矩阵。现介绍其变换原理和方法步骤。6.3.1求解求逆紧奏变换法的基本公式由上述介绍可知，标准化后的正规方程组为：rd+rd+rd+...+rd=rTOC\o"1-5"\h\z1111221331k-1k-11krd+rd+rd+...+rd=r2112222332k-1k-12k<rd+rd+rd+・・・+rd=r3113223333k-1k-13krd+rd+rd+...+rd=rk-111k-122k-133k-1k-1k-1k-1k可得增广矩阵r（0），由（R⑼；E）经髙斯消元法变换为（E\R-1），既可

求出解和相应的逆矩阵。rrr...rr10...0、11121k-11kr...rr01…021222k-12k(R(0):E)=:::::::::rr...rr00…0k-11k-12k-1k-1k-1krr・・・rr00…1k1k2kk-1kk丿经高斯消元法变换为：10(E；R-10(E；R-i)=；00…0r(i)1k1…0r(l)2kr(l)r(l)k+11k+2r(l)r(l)k+12k+2r(l)2k+1r(l)2k+10…0r(l)k-1k0…1r(l)kkr(l)r(l)k-1k+1k-1k+2r(l)r(l)kk+1kk+2r(i)k-12k+1r(i)k2k+1其变换公式为：r(i)二r(i-i)/r(i-i)j二1,2,3,…,2k+1kjkjkkr(i)二r(i-1)—r(i-1).r(i-1)/r(i-1)i主kijijikkjkk说明：公式(1)是好理解的；公式（2）是指求算非主行和非主列的元素，实质上就是该元素减去其对应的主行与主列元素相乘并除以主元素。举例，解下列方程组：10x+7x+4x=4123<7x+7x+3x=41234x+3x+4x=3123解：利用上述高斯消元法的（1）（2）公式，解上述方程组的求解求逆变换过程如下：

由上述方程组可得髙斯求解求逆变换法矩阵形式A(0):TOC\o"1-5"\h\z10744100A(o)=7734010434300111可得A(1)：「10.70.411可得A(1)：「10.70.40.40.100A(1)=02.10.21.2-0.71000.22.41.4-0.401当k=2,主元素为：a，根据髙斯求解求逆变换法原理和方法,22可得A(2)：「100.33300.333-0.3330A(2)=010.0950.571-0.3330.4760002.3811.286-0.333-0.0951当k=3，主元素为：a，根据髙斯求解求逆变换法原理和方法，33可得A(3)：「100-0.1810.380-0.320-0.141A(3)=0100.519-0.3200.480-0.0400010.541-0.141-0.0400.423ftftXA-1提出问题：由上述髙斯削元法变换可知，单位矩阵只是从后k逐列移至前k列，而只是起到形式作用。这样，若利用计算机程序求解求逆就要多占用k*k个单元，试想能否节省k*k个单元呢？从以上变换可知，如果能将后k列经过变换后放置前k列去，这样k*k个单元即可节省。如何做呢？这要找出后k列变换前后的关系。若R（0）经过（l-l）次变换得到R（l-1），则第k+l+1列除了第l个元素为1,其余均为0,即，第k+1+1列各元素值为:r（i-i）二1Jk,k+1+kr（i-i）二0i丰ki,k+1+k若再对R（i-i）变换一次得R（i），则第k+1+1列各元素可由咼斯消元法的公式（1）（2）变换为为：I(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i丰ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k这就相当于第k+1+1列的第k个元素1除以主元素，其余的元素都除以主元素并变号，于是可将第k+1+1列放到对应的前I列中，这样单位矩阵就节省了，上述整个过程就称为矩阵的求解求逆紧奏变换法。将上述公式合并即得求解求逆紧奏变换法的公式：I(i)r(i)二r(i-i)/r(i-i)j二1,2,3,,2k+1JkjkjkkI(2)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)i主kijijikkjkkI(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i丰ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k说明：(1)式为求主行各元素；2）式为求非主行非主列的各元素；用公式(2)求非主行所有元素，如：a(1),a(1),a⑴,a⑴,a(1)o2i22343536a(0):k=1,i=2,j=121a(i)=a(0)一a(0)-a(0)•-a(0)=a(0)一a(0)-a(o)fa(0)ijikkj:kk21211211二7-7x10.10二0a(0):k=1,i=2,j=222a(i)=a(0)一a(0)-a(0)Fa(0)=a(0)—a(0)-a(0)「a(0)22ijikkjkk22211211二7-7x710二2.1

a（o）:k=1,i=3,j=434a（i）=a（o）-a（o）-a（o）；a（o）=a（o）-a（o）-a（o）a（o）

34ijikkjkk34311411二3-4x410二1.4a（o）:k=1,i=3,j=535a（1）=a（o）-a（o）-a（o）.：a（o）=a（o）-a（o）-a（o）；'a（o）35ijikkj:kk353115■11二0-4x110=-0.4a（o）:k=1,i=3,j=636a（1）=a（o）-a（o）-a（o）'a（o）=a（o）-a（o）-a（o）fa（o）36ijikkj'kk36311611=0-4x010=0式为求主元素；式为求主列个各元素。举例：利用求解求逆紧奏变换法解上述方程组解：「10744A（0）=77344343当k=1，主元素为：a11，根据求解求逆紧凑变换法原理和方法可得A(1)：-0.10.70.40.4「A（1）=-0.72.10.21.2-0.40.22.41.4当k=2,主元素为：a，根据求解求逆紧凑变换法原理和方法,22可得A(2)：0.333-0.3330.333A（2）=-0.3330.4760.0950.333-0.3330.333A（2）=-0.3330.4760.0950.571-0.333-0.0952.3811.286当k=3,主元素为：a，根据求解求逆紧凑变换法原理和方法,33可得A（3）：0.380-0.320-0.141-0.181A(3)=-0.3200.480-0.0400.519—0.141-0.0400.4230.541ftftA-1X由两种方法比较可知，其结果一样，故求解求逆紧奏变换法可节省K*K个存储单元。6.3.2基本性质1每作一次变换，就求得一组解和相应的逆矩阵；2对R（0）作变换得R（l），同变换次序无关，即与哪个作主元素无关;3当lR（1-1）二R（1）,lR（i）二R（1+1）二R（1-1）,即，同一主元素作两次变换可kk还原；4在矩阵中，具有下列对称性：'r（i）当z.,z均作了变换或者均未作变换时TOC\o"1-5"\h\zr（i）=<'jij-r当z,z仅一个过消除变换时

jiij6.3.3求解求逆紧奏变换法与回归分析的关系由上述分析可知，逐步回归分析要求解的正规方程组为：rd+rd+rd+...+rd-r1111221331k-1k-11krd+rd+rd+...+rd二r2112222332k-1k-12k<rd+rd+rd+...+rd二r3113223333k-1k-13krd+rd+rd+...+rd二rk-111k-122k-133k-1k-1k-1k-1k则逐步回归分析中的求解求逆紧奏变换法的增广矩阵是

r11rr12…r1k-1…rR=21222k-1............rr…rk-11k-12k-1k-1在逐步回归分析中，每引进一个变量或者剔除一个变量，都要对R进行一次求解求逆紧奏变换法变换，最后求得d,d,d…,d，再恒123k-1等变换为b,b,b,b…,b，所以求解求逆紧奏变换法在逐步回归分析0123k-1中十分有用。6.4逐步回归分析的步骤根据逐步回归分析的原理和方法，现介绍其具体步骤。以表6-3P）中地理数据为例。125地理数据4--5台风编号xxxxxxxy1234567750314.5127.08.82.0-0.58.0248.090065097.5727.710.87.00.85.081.035460031.9428.313.613.0-0.21.7124.856665213.0427.312.113.00.21.5314.652173018.0728.55.7-2.0-0.62.7110.433361224.6428.515.814.01.42.0109.635974123.0227.45.40.00.64.6110.058962136.2028.212.012.00.02.5378.041666152.6929.012.76.01.315.787.828960052.8527.55.012.00.06.8152.225461261.0227.020.71.01.010.0148.520962081.6227.57.04.01.56.048.042865137.0227.35.8-17.01.810.0230.067363122.0927.314.5-11.00.08.5110.539559040.8328.711.8-13.02.34.0125.032760074.5627.07.0-4.0-0.34.0240.082963065.4329.07.2-4.0-1.54.0157.226675044.0526.94.2-1.0-0.32.880.065359013.7828.011.68.0-1.012.297.018761021.1129.013.6-3.0-0.514.0144.017872077.1727.011.02.0-1.010.6157.3160

71235.0026.033.6-27.02.723.3206.428070103.8827.016.0-7.01.09.5134.023456120.7426.5-1.26.0-2.09.0368.026456223.0527.813.4-7.0-1.72.7165.221662140.3028.011.0-7.0-0.78.0144.229469113.4428.08.0-4.0-0.211.7256.026860015.9425.010.01.0-2.75.2201.618569063.1227.29.16.01.017.3173.0246x4.09227.5710.900.000.0837.7169.04374.9s15.5894.81432.76050.8516.76827.870439.191039.3i第一步求初始相关系数矩阵R（0）由表6--3中地理数据可求得初始相关系数矩阵为：‘1.0000‘1.0000—0.1819—0.06880.0020—0.18191.0000—0.09120.1964—0.0688—0.09121.0000—0.35840.00200.1964—0.35841.0000R（o）=—0.10610.14990.4547—0.2680—0.0784—0.18240.4514—0.40430.1733—0.2873—0.11570.0584、0.4208—0.1003—0.27330.0015—0.1061—0.07840.17330.4208'0.1499—0.1824—0.2873—0.10030.45470.4514—0.1157—0.2733—0.2680—0.40430.05840.00151.00000.3153—0.25110.15280.31531.0000—0.0057—0.3534—0.2511—0.00571.00000.16700.1528—0.35340.16701.0000丿第二步逐步优选变量该步是指逐步优选变量以建立最优回归方程。1选择第一个变量首先，引入第一个变量以建立一元回归模型：z二d⑴zj=1,2,3,,k—1kjj1）确定F=F=5（本例最好为2.5）,即引进与剔除变量的F检验12值。2）引进变量的原则与方法如何确定先引入哪一个变量呢？(1)选择原则引入原则为偏回归平方和最大者，也称为方差贡献最大者。由前述可知，回归平方和越大，回归方程的效果就越好。(2)选择方法如何选择偏回归平方和最大者呢？方法有两钟，即：一般方法和直接方法。一般方法：一般方法是指从建立后的回归方程求得，公式为：u二dljjjk这样看来，工作量相当大，设想一下，能否从R(0)中直接求得各偏回归平方和再从中选择最大者呢？回答是肯定的！因为R⑴是从R(0)中变换得来的，所以，它们之间有数量联系。直接方法：直接方法是指从R(0)中直接求得偏回归平方和最大者。如何从R(0)中直接求呢？这就要从求解求逆紧凑变换法中找出R⑼tR⑴中的关系。由上述变换可知：d(1)二r(1)二r(0)/r(°)jjkjkjjc(i)二r(1)二1/r(0)二1/c(0)jjjjjjjj于是，z中的偏回归平方和可得：ju(1)=[d(1)]2・c(0)=[d(1)]2/c(1)jjjjjjj=[r(o)/r(o)]2/[l/r(0)]jkjjjj=[r(0)]2/r(0)jkjj此式表明，u(1)完全可以从R(0)中直接求得。于是可拓展到：

u(2)-R(1)ju(3)-》R(2)ju(4)-R(3)juk_1--R(k-2)j3)引进变量(1)确定引进变量，即：求u(0)便可确定。j运用直接方法即可求算所有偏回归平方和u(0)，并选取maxu(0)者。jj由于的对角元素均为：r(0)=r(0)=r(°)=•…=r(°)=1112233k-1k-1所以，最后一列绝对值最大者便为偏回归平方和最大者。本例为z，即：1u(0)=L(0)】"(0)=b.4208]1=0.1771TOC\o"1-5"\h\z1k1l由此可知maxu(o)=0.0.1771，故引入的第一个变量为：z，即:11z=d(1)zj=1k11(2)引进变量检验方法为F检验法，首先，应经验性确定临界值F(/")，其大小主a要与信度和自由度有关，所以，不宜太大，否则，引进变量较少，不实用。本例K=7,若试选4个变量，则n=29,4=4,f2=n-k-1=24,即：F(f1,f2)=F(4,24)=2.78，选2.5为宜。a0.05F=10.1771F=10.17711-0.1771)270.17711-0.1771x27=5.81因为L81〉^2.5,所以引进的第一个变量为勺。(3)求算Rd)R(0)经求解求逆紧凑变换法可求得R(!)为:‘1.0000-0.1819‘1.0000-0.18190.18190.96680.0688-0.1037R(D=-0.00200.19680.10610.13060.0784-0.1967-0.1733-0.25580.4208-0.0237-0.06880.0020-0.1061-0.10370.19680.13060.9952-0.35830.4474-0.35830.9999-0.26850.4473-0.26850.98870.4460-0.40410.3070-0.10380.0580-0.2327-0.24430.00060.19754)剔除变量由于刚引进第一个变量，故略。2选择第二个变量1)引进变量(1)确定引进变量，求算u(1)，并求取maxu(1)，jj-0.07840.17330.4208'-0.1967-0.2558-0.02370.4460-0.1038-0.2445-0.40410.05800.00060.3070-0.23270.19750.99380.0077-0.32040.00770.96990.0941-0.32040.09410.8228丿j=2，3，4，5，6，u(2)=LG】.rG=I-0.0237】.0.9668=0.000582k'22同理可求得：u(2u(2)=0.0601，u(2)=0.0000，34u(2)=0.0395，u(2)=0.1033，56u(2)=0.00917由此可知).10336(2)引进变量检验亠乙-3)=加1莎x26二3.75kk6因为叮3・75＞叮2・5，所以应引进变量z6，并对R(0)进行求解求逆紧凑变换得R(1)，如表所示。

‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955—0.0871-0.0667-0.0298-0.01540.11680.7950-0.1769-0.17690.83560.3096-0.14360.4488-0.4066-0.10730.0612-0.1005-0.1296-0.08190.07880.19140.19790.3096-0.4488-0.14360.40660.8938-0.30890.30891.0061-0.2351-0.00780.29650.32240.17390.3955、—0.2542—0.0871—0.1073—0.10050.0612—0.1296—0.23510.29650.0078—0.32240.96980.09660.09660.7195丿2)剔除变量由于z变量刚刚引进，现只需对z作检验。61确定剔除变量，求算U⑵，并求取minuC),jju(2)=I(2」r(2)=b.3955L].0061=0.15541k11剔除检验j=1，6u(2)—1r(2)kkx(n-3)=0.1554x26=5.6220.7195因为，所以不应剔除，继续引进变量。3选择第三个变量(1)确定引进变量，求算uG)，并求取maxu(3)，j=2，3，4，5，7jju(3)=L(2)122k'r(2)=[-0.08711^0.9279=0.008222'同理可求得：u(3)二0.0127，u(3)二0.0201，uG)二0.0984，uG)二0.0096457由此可知0.009845(2)引进变量检验呼x(n-4)=rG)—u(3)kk50.09840.5434—0.0984x25二3.9588因为F二3.9588>F二2.5，所以，应引进变量z，并对R⑵进行求解315求逆紧凑变换得r⑶，如表所示。了1.0136—0.1799—0.0053—0.04290.09160.05050.15240.42270.17990.8869—0.08170.1475—0.21410.2641—0.2039—0.15070.0053—0.08170.6877—0.1271—0.3463—0.3418—0.0258—0.20320.04290.1475—0.12710.81250.16070.35690.0234—0.08190.09160.21410.3463—0.16071.1187—0.3456—0.26300.33170.0505—0.26410.3418—0.3569—0.34561.11290.0891—0.4249—0.1524—0.2039—0.02580.02340.2630—0.08910.90800.1746j-0.4227—0.1507—0.2032—0.0819—0.33170.42490.17460.6211R⑶=丿2）剔除变量z作剔除检验。6由于z变量刚刚引进，现只需对z，51（1）确定剔除变量，求算u⑶，并求取minuG），j=1jju（3）=卜1逬）=b.4227]2..1.0136=0.1763u（3）=r（3）=1-0.4249〕21.1129=0.1622666'由此可知，u（3）=0.1622为最小，故对z做剔除检验。66（2）剔除检验因为，说明：uG)fu⑶/八0.1622F=6+=6x(n—4)=x25=6.52873r⑶fr(3)0.6211kk2kkF=6.5287>F=2.5所以不应剔除，继续引进变量。32有两钟情况，即：时，不应剔除变量z，并继续引进新的变量；6z，并对l-R（3）=R（4）做变换，这时，还要6>F时，则终止剔除检验，继续引进新的2F>F32F<F时，应剔除变量32对变量z作剔除检验，若F13变量；如F<F时，则继续做剔除检验，直到没有不显著变量存在为32止。选择第四个变量1)引进变量（1）确定引进变量，求算u（4），并求取maxu（4）,j=2,3,4,7jju（4）=lr（3」.r（3）=匸0.150710.8869=0.02562k22'同理可求得：u（4）二0.0600,u（4）二0.0083,u（4）二0.033647由此可知maxu（4）=0.06003（2）引进变量检验u34u34）x（n-5）=r（3）—u（4）kk30.06000.6211—0.0600x24二2.5664因为F二2.5664>F二2.5，所以，应引进变量z，并对R⑶进行求解313求逆紧凑变换得r⑷，即:l•R⑶二R⑷，如表所示。‘1.0136—0.18050.0077—0.04390.08890.04790.15220.4211、0.18050.87720.11880.1324—0.25520.2235—0.2070—0.17480.0077—0.11881.4541—0.1848—0.5036—0.4970—0.0375—0.29550.04390.13240.18480.78900.09670.29370.0186—0.11950.08890.2552—0.5036—0.09671.2931—0.1735—0.25000.43400.0479—0.2235—0.4970—0.2937—0.17351.28280.1019—0.3239—0.1522—0.20700.03750.01860.2500—0.10190.90700.1670、-0.4211—0.17480.2955—0.11950.43400.32390.16700.5611丿2）剔除变量由于z变量刚刚引进，现只需对z，z，z作检验。3156（1）确定剔除变量，求算u（4），并求取minu（4），j=1，3,5,6。jju（4）=S）1.申）=b.4211]2.1.0136=0.1749u（4）=0.1457,u（4）=0.081856由此可知，u⑷=0.0818为最小，则先对z作剔除检验。66（2）剔除检验

F2u（4）0.0818F26x（n-5）=x24=3.499r⑷0.561166因为，所以不应剔除变量z，继续引进新的变量。65选择第五个变量1）引进变量j=2，4，j=2，4，7求算u（4），并求取maxu（4）,jju（5）=l（4）〕2；r（4）=[-0.1748〕2「0.8772=0.034822k'22'同理可求得：u（5）=0.0181,u（5）=0.030747由此可知maxu（5）=0.0348为最大，故确定引进变量z22（2）引进变量检验F=1呼F=1呼x（n-6）=r（4）—u（5）kk20.03480.5611—0.0348x23=1.5208因为叮1・5208＜叮2・5，所以不应引进变量Z2,同时表明再无显著变量可以引进，则应终止，并即可求出最优回归模型。第三步建立回归方程，即最优回归方程。1、求算d，j=l，3，5，6j根据求解求逆紧凑变换法的基本原理和方法步骤，由R⑷可知:d=0.42111d=—0.295523d=0.43405d=—0.323962、求算b，j=1，3，5，6。j（1）求有关项

二1039.3k7Q二27.87x1二4-二1039.3k7Q二27.87x1二4-092,x=10.9，3x=0.083,x=7.7,x=374.9567⑵求blb=乙d二1039.3x0.4211二28.0742iQ115.5891TOC\o"1-5"\h\zbd二一9-x(—0.2955)=—9.37463q332.763Q1039.3b=7d=x0.4340=66.6454Q56.7685bd=―93x(—0.3239)=—12.0786q627.876求算bob=y一bx一bx一bx一bx011335566=374.9—28.0742x4.072—(—9.3746x10.9)—66.6454x0.083—(—12.0786x7.7)=449.6772故求得逐步回归分析的最优回归方程为：y=4496772+28.0742x—9.374&+66.6454x—12078&1356

第五步显著性检验1、求有关项L二L=^(L二L=^(y—y》二1039.32二1080144.49kkyy=Y(y一y)(x-x)=11=Y(y-y)(x-x)=33=5(y-y)(x-x)=55=5(y-y)(x-x)=66L1yL3yL5yL6yU二S2(1-r(4))二1039.32x(1-0.5611)二474075.4167kkkQ=S2•r⑷二10393x0.5611二606069.0733kkk或者Q二L-U二1080144.49-474075.4167二606069.0733yy2、求FF=Uk=474075.4167/4=4.6933Qn-k-1606069.0733243、求F（f1,f2）a查表可得：F&“）=F（4,24）=2.78a0.05因为F=4.6933〉f（4,24）=2.78,所以该回归方程显著，可以应用于0.05地理分析。例2根据逐步回归分析的原理和方法，现介绍其具体步骤。以表4.9

中地理数据为例。表4.9地理数据序口X1X2X3X4y140165140230243185339231.1328186653231.3441185143231.8528186653235.1656234253235.3740204450235.5847196243236932185658236.11042193552237.211572253552381231193267239.21367206232239.91434213166240.31551195847241.41647232873249.9第一步求初始相关系数矩阵r(0)由表4.9中地理数据可求得初始相关系数矩阵为：[10.50860.0551-0.41530.3004、0.50861-0.49160.48330.6757R（0）=0.0551-0.49161-0.6563-0.4966-0.41530.4833-0.656310.5865、0.30040.6757-0.49660.58651丿第二步选择第一个变量1、确定F=F=5，即引进与剔除变量的F检验值。12

2、引进变量(1)求u(0)，即求算所有偏回归平方和u(0)，并选取maxu(0)者。

jjju(0)=[(0J2r(0)=[(0)L.r(0)=lc.3004]2.1=0.090211k111511'u(u(0)=0.34404u(0)=0.4566，u(0)=0.2466，23由此可知maxu(0)=0.45662(2)引进变量检验u'0丿fu'0丿f一u(0)丿22因为F=11.7680〉F=5，所以引进的第一个变量为31(3)求算R(1)0.45661f=(1-0.4566)14=Ez。2R(o)经求解求逆紧凑变换法可求得RG为:R(o)经求解求逆紧凑变换法可求得RG为:0.7413一0.50860.3051一0.6611一0.04330.50861一0.49160.48330.67570.30510.49160.7583一0.4187一0.1644一0.6611一0.4833一0.41870.76640.2599－0.0433一0.6757一0.16440.25990.5434R⑴二2、剔除变量由于刚引进第一个变量，故略。第三步选择第二个变量1、引进变量⑴求算u(1⑴求算u(1)，并求取maxu(1)，jjG)=\⑴2"⑴115;11j=1，3，u(1)=1同理可求得=L0.0433〕2,.0.7413=.002522uG=0.0356，uG=0.088134由此可知maxuG)=0.08814(2)引进变量检验0.54040-010881X13=20.54040-010881X13=2^553rG)—u6)kk4因为F=2・5155VF=5，所以再无显著变量引进，故引进变工作32结束。2、剔除变量由于未引进变量，剔除工作也结束。第四步建立回归方程，即最优回归方程。1、求算d，j=2j由R⑴可知：d=0.675722、求算b，j=2j(1)求有关项q=q=■,：丄f—X)2=4.7690k5n55q=」丄E(x—X)2=1.90292n22X=19.4375，Xv=236.756325⑵求bq4.7690b="=x0.6757=1.69342q21.90292求算bob二x-bx二236.7563-1.6934x19.43750522=203.8408故求得逐步回归分析的最优回归方程为：y=203.8408+1.6934x2第五步显著性检验1、求有关项L—x)2二363.89945555L=Y(x-x)X-x)=98.1063252255U=bL=1.6934x98.1063=166.1332225Q=L-U=363.8994-166.1332=197.7662552、求FF=Q7—=infill?=11-76063、求F(f1,f2)a查表可得：F(f1,f2)=F(1,14)=8.86a0.01因为F=11.7606〉F(U4)=8.86，所以该回归方程显著，可以应用于0.01地理分析。为了全面掌握逐步回归分析的步骤，若设F=F=2.5时，则第三12步选择第二个变量的引进变量检验中，因为F=2.5155〉F=2.5，所31以引进的第二个变量为z。这样就须继续进行。4

求R（2）由R（1）经求解求逆紧凑变换法可求得R（2）为:现已引进z、z两个变量,24由于z刚引进，故只须对z作剔除检42现已引进z、z两个变量,24由于z刚引进，故只须对z作剔除检42验，具体步骤如下：⑴求u（2）2卫=阮118]2=o.2oo8uG)=2r(2)1.304822(2)求F3F=哩(n-3)=3r(2)550.20080.4553x13=5.7319因为导.7319〉叮2・5，所以r是显著变量，不应剔除。继续选择第三个变量，若还有显著变量引进则继续进行，具体步骤同上述，若再无有显著变量引进，则结束，即可建立回归方程，具体步骤如下：求d,j=2,4j由R(2)可知「d=0.5118<2d=0.33914求算b，j=2，4j①求有关项q5=4.76900.1710-0.9255-0.05610.86260.18090.92551.3048-0.2276-0.63060.5118-0.05610.22760.52960.5463-0.0224-0.8626-0.6306-0.54631.30480.33910.1809-0.5118-0.0224-0.33910.4553aaq=1.90292q=10.63604X2=19.4375，xq=1.90292q=10.63604X2=19.4375，x=51.5，x=236.756345②求算b，jj=2，4q224.7690x0.5118=1.28271.9029b4dq4二4.7690x0.3391二0.152010.6360③求b0b0一b2X2-b4X4二236.7563-1.2827x19.4375-0.1520x51.5二203.9958故求得逐步回归分析的最优回归方程为：y=203.9958+1.2827x+0.1520x24对回归方程进行显著性检验，具体步骤如下(1)求有关项L二363.899455L二98.106325L二475.9545U二bL+bL二1.2827x98.1063+0.1520x475.95二198.1854225445Q二L-U二363.8994-198.1854二165.714055(2)求FF二严)二叽*542)二11.9350Q(n-k-1丿165.7140(16-2-1丿⑶求F吐)查表可得：F&“)=F(2,13)=6.70a0.01因为F=11.9350〉f(2,13)=6.70，所以该回归方程显著，可以应用于0.01地理分析。6.5逐步回归分析的实习指导6.5.1实习目的1、巩固逐步回归分析的基本原理及方法步骤。2、掌握逐步回归分析程序的使用方法及技巧3、求取最优回归方程并应用于预测等。4、掌握逐步回归分析程序的变换应用方法。6.5.2实习内容1、标识符说明N样本个数M自变量数Fl、F2F检验的临界值Q存放选入l个自变量以后的剩余平方和Q2存放y的剩余标准差估计值L选入自变量的个数X(N,M+1)存放变量Xa,Xa,Xa,…，Xa=y的数据(a=1,2,3,…,l23m+lN)R(M+l,M+l)存放相关系数B(M)存放回归系数b0,bl,b2,…，blT(M)临时存贮单元，开始时用以标记自变量是否选上，当x未选入时iT(I)=0,—旦X选入，则T(I)存放R-1对角线元素。iZ(I)存放回归系数显著性检验的t统计量A(M+1)存放自变量xi和y的平均数1I—V(M+1)存放离差平方和的均方根Si二“L「=ai-£)2(i=1,2,Va=l3,…，m+1)。,m。U(M+1)存放各自变量和y的离差平方和均方根之比Sm出,m。SiFF检验值S剩余标准差ay原始y值ipy预测y值iEr预测误差Er%相对预测误差2、程序5REM逐步回归分析程序10INPUT“样本数N,自变量数M,F检验数F],F?二”;N,M,片，F?15Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相关系数矩阵60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0

135140145150155160165170175180185190195200202205208209210213215220225230235240245250255260265270275280285290295FORK=1TONG1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))NEXTKG1=G1/(V(I)*V(J))R(I,J)=G1R(J,I)=G1NEXTJNEXTIFORI=1TOYR(I,I)=1U(I)=V(Y)/V(I)NEXTIPRINT“RMatrix”FORI=1TOYFORJ=1TOIPRINTR(I,J),NEXTJPRINTNEXTIREM选因子和剔除因子的过程T1=0L=0Q=1T1=T1+1V1=0V2=10FORI=1TOMT(I)=0D=R(I,I)IFD<1E－08THEN315W=(R(Y,I)/D)*R(I,Y)IFW>0THEN300T(I)=DIF－W>=V2THEN315V2=－WI2=IGOTO315

300305310315320325330335340345350355360362365370375380385387390395400405410415420425430435440445450453455460IFW<=V1THEN315V1=WI1=INEXTIIFT1<=2THEN360F3=(N－L－1)*V2/QIFF3>F2THEN360L=L－1K=I2K1=－KPRINT“Imin=”；K1，“L=”；LGOTO390IFL>=MTHEN475F3=(N－L－2)*V1／(Q－V1)I