逐步回归分析

第6节逐步回归分析。逐步回归分析概述1概念逐步回归模型是以已知地理数据序列为基础，根据多元回归分析法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之间变化关系的最优回归模型。逐步回归分析的数学模型逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。变量重新编号1新编号数学模型令，自变量个数为k-1，则其数学模型为：式中，α=1，2，3，…，nn：样本个数其中：的偏回归平方和为：：为的算术平均值：的偏回归系数：为逆矩阵对角线对应元素2回归数学模型新编号的回归数学模型为：标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1标准化回归数学模型令j=1，2，3，…，k其中：！为离差平方和的方根注意：它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。则回归数学模型为：2标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为：因为，，所以上述正规方程组可变为：这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为：这样，数据标准化后的估计值应为0，并令，则可得：其中:称为相关系数矩阵。解此方程组，即可求出，故可得标准化后的回归模型为：标准化的回归模型的矩阵形式：标准化前后回归模型的关系1标准化前后的回归模型1）标准化前后回归模型为：2）标准化后回归模型为：2标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知：令代入标准化前的回归模型可得：整理后得：将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：j=1,2,3,…k-1于是，只要求出，即可求出，今后仅讨论标准化后的回归模型。3标准化后的各种离差平方和求解求逆紧凑变换法逐步回归分析每引进和剔除一个变量都要用到求解求逆紧奏变换法进行矩阵变换，最后求出方程组的解和逆矩阵。现介绍其变换原理和方法步骤。求解求逆紧奏变换法的基本公式由上述介绍可知，标准化后的正规方程组为：可得增广矩阵，由经高斯消元法变换为，既可求出解和相应的逆矩阵。故经高斯消元法变换为：=D其变换公式为：说明：公式（1）是好理解的；公式（2）是指求算非主行和非主列的元素，实质上就是该元素减去其对应的主行与主列元素相乘并除以主元素。举例，解下列方程组：解：利用上述高斯消元法的（1）（2）公式，解上述方程组的求解求逆变换过程如下：由上述方程组可得高斯求解求逆变换法矩阵形式：当=1，主元素为：，根据高斯求解求逆变换法原理和方法，可得：当=2，主元素为：，根据高斯求解求逆变换法原理和方法，可得：当=3，主元素为：，根据高斯求解求逆变换法原理和方法，可得：X提出问题：由上述高斯削元法变换可知，单位矩阵只是从后k逐列移至前k列，而只是起到形式作用。这样，若利用计算机程序求解求逆就要多占用k*k个单元，试想能否节省k*k个单元呢从以上变换可知，如果能将后k列经过变换后放置前k列去，这样k*k个单元即可节省。如何做呢这要找出后k列变换前后的关系。若经过（-1）次变换得到，则第k+1+列除了第个元素为1，其余均为0，即，第k+1+列各元素值为：若再对变换一次得，则第k+1+列各元素可由高斯消元法的公式（1）（2）变换为为：这就相当于第k+1+列的第个元素1除以主元素，其余的元素都除以主元素并变号，于是可将第k+1+列放到对应的前列中，这样单位矩阵就节省了，上述整个过程就称为矩阵的求解求逆紧奏变换法。将上述公式合并即得求解求逆紧奏变换法的公式：说明：（1）式为求主行各元素；（2）式为求非主行非主列的各元素；用公式（2）求非主行所有元素，如：。（3）式为求主元素；（4）式为求主列个各元素。举例：利用求解求逆紧奏变换法解上述方程组：解：当=1，主元素为：，根据求解求逆紧凑变换法原理和方法，可得：当=2，主元素为：，根据求解求逆紧凑变换法原理和方法，可得：当=3，主元素为：，根据求解求逆紧凑变换法原理和方法，可得：X由两种方法比较可知，其结果一样，故求解求逆紧奏变换法可节省K*K个存储单元。6.3.2基本性质1每作一次变换，就求得一组解和相应的逆矩阵；2对作变换得，同变换次序无关，即与哪个作主元素无关；3当,即，同一主元素作两次变换可还原；4在矩阵中，具有下列对称性：6.3.3求解求逆紧奏变换法与回归分析的关系由上述分析可知，逐步回归分析要求解的正规方程组为：则逐步回归分析中的求解求逆紧奏变换法的增广矩阵是：在逐步回归分析中，每引进一个变量或者剔除一个变量，都要对R进行一次求解求逆紧奏变换法变换，最后求得，再恒等变换为，所以求解求逆紧奏变换法在逐步回归分析中十分有用。逐步回归分析的步骤根据逐步回归分析的原理和方法，现介绍其具体步骤。以表6–3（）中地理数据为例。地理数据4--5台风编号7503-90065093546003-56665215217301--33361223597412589621341666152896005254612620962084286513-6736312-3955904-3276007--8296306--2667504--6535901-1876102--1787207-1607123-2807010-2345612--2645622--2166214--2946911--2686001-1856906246第一步求初始相关系数矩阵由表6--3中地理数据可求得初始相关系数矩阵为：第二步逐步优选变量该步是指逐步优选变量以建立最优回归方程。1选择第一个变量首先，引入第一个变量以建立一元回归模型：1）确定F1=F2=5（本例最好为），即引进与剔除变量的F检验值。2）引进变量的原则与方法如何确定先引入哪一个变量呢（1）选择原则引入原则为偏回归平方和最大者，也称为方差贡献最大者。由前述可知，回归平方和越大，回归方程的效果就越好。（2）选择方法如何选择偏回归平方和最大者呢方法有两钟，即：一般方法和直接方法。一般方法：一般方法是指从建立后的回归方程求得，公式为：这样看来，工作量相当大，设想一下，能否从中直接求得各偏回归平方和再从中选择最大者呢回答是肯定的！因为是从中变换得来的，所以，它们之间有数量联系。直接方法：直接方法是指从中直接求得偏回归平方和最大者。如何从中直接求呢这就要从求解求逆紧凑变换法中找出中的关系。由上述变换可知：于是，中的偏回归平方和可得：此式表明，完全可以从中直接求得。于是可拓展到：3）引进变量(1)确定引进变量，即：求便可确定。运用直接方法即可求算所有偏回归平方和，并选取者。由于的对角元素均为：所以，最后一列绝对值最大者便为偏回归平方和最大者。本例为，即：由此可知，故引入的第一个变量为：，即：(2)引进变量检验方法为F检验法，首先，应经验性确定临界值，其大小主要与信度和自由度有关，所以，不宜太大，否则，引进变量较少，不实用。本例K=7，若试选4个变量，则，即：，选为宜。因为F3=＞F1=，所以引进的第一个变量为。(3)求算经求解求逆紧凑变换法可求得为：4)剔除变量由于刚引进第一个变量，故略。2选择第二个变量1)引进变量(1)确定引进变量，求算，并求取，j=2，3，4，5，6，7同理可求得：，，，，由此可知(2)引进变量检验因为F3=>F2=，所以应引进变量，并对进行求解求逆紧凑变换得，如表所示。2）剔除变量由于变量刚刚引进，现只需对作检验。（1）确定剔除变量，求算，并求取，j=1，6（2）剔除检验因为，所以不应剔除，继续引进变量。3选择第三个变量(1)确定引进变量，求算，并求取，j=2，3，4，5，7同理可求得：，，，由此可知(2)引进变量检验因为，所以,应引进变量，并对进行求解求逆紧凑变换得，如表所示。2）剔除变量由于变量刚刚引进，现只需对，作剔除检验。（1）确定剔除变量，求算，并求取，j=1，6由此可知，为最小，故对做剔除检验。（2）剔除检验因为，所以不应剔除，继续引进变量。说明：有两钟情况，即：时，不应剔除变量，并继续引进新的变量；时，应剔除变量，并对做变换，这时，还要对变量作剔除检验，若时，则终止剔除检验，继续引进新的变量；如时，则继续做剔除检验，直到没有不显著变量存在为止。4选择第四个变量1)引进变量(1)确定引进变量，求算，并求取，j=2，3，4，7同理可求得：，，由此可知(2)引进变量检验因为，所以,应引进变量，并对进行求解求逆紧凑变换得，即：，如表所示。2）剔除变量由于变量刚刚引进，现只需对，，作检验。（1）确定剔除变量，求算，并求取，j=1，3，5，6。，由此可知，为最小，则先对作剔除检验。（2）剔除检验因为，所以不应剔除变量，继续引进新的变量。5选择第五个变量1)引进变量(1)确定引进变量，求算，并求取，j=2，4，7同理可求得：，由此可知为最大，故确定引进变量。(2)引进变量检验因为F3=＜F2=，所以不应引进变量，同时表明再无显著变量可以引进，则应终止，并即可求出最优回归模型。第三步建立回归方程，即最优回归方程。1、求算，j=1，3，5，6根据求解求逆紧凑变换法的基本原理和方法步骤，由可知：2、求算，j=1，3，5，6。(1)求有关项，，，，(2)求(3)求算故求得逐步回归分析的最优回归方程为：第五步显著性检验1、求有关项或者2、求F3、求查表可得：因为F=＞，所以该回归方程显著，可以应用于地理分析。例2根据逐步回归分析的原理和方法，现介绍其具体步骤。以表中地理数据为例。表地理数据序号1401651402302431853393281866534411851435281866536562342537402044508471962432369321856581042193552115722535523812311932671367206232143421316615511958471647232873第一步求初始相关系数矩阵由表中地理数据可求得初始相关系数矩阵为：第二步选择第一个变量1、确定F1=F2=5，即引进与剔除变量的F检验值。2、引进变量(1)求，即求算所有偏回归平方和，并选取者。同理可求得：，，由此可知(2)引进变量检验因为F3=＞F1=5，所以引进的第一个变量为z2。(3)求算经求解求逆紧凑变换法可求得为：2、剔除变量由于刚引进第一个变量，故略。第三步选择第二个变量1、引进变量(1)求算，并求取，j=1，3，4同理可求得：，由此可知(2)引进变量检验因为F3=＜F2=5，所以再无显著变量引进，故引进变工作结束。2、剔除变量由于未引进变量，剔除工作也结束。第四步建立回归方程，即最优回归方程。1、求算，j=2由可知：2、求算，j=2(1)求有关项，(2)求(3)求算故求得逐步回归分析的最优回归方程为：第五步显著性检验1、求有关项2、求F3、求查表可得：因为F=＞，所以该回归方程显著，可以应用于地理分析。为了全面掌握逐步回归分析的步骤，若设时，则第三步选择第二个变量的引进变量检验中，因为F3=＞F1=，所以引进的第二个变量为。这样就须继续进行。求由经求解求逆紧凑变换法可求得为：现已引进、两个变量，由于刚引进，故只须对作剔除检验，具体步骤如下：(1)求(2)求因为F3=＞F2=，所以是显著变量，不应剔除。继续选择第三个变量，若还有显著变量引进则继续进行，具体步骤同上述，若再无有显著变量引进，则结束，即可建立回归方程，具体步骤如下：(1)求，j=2，4由(2)求算bj，j=2，4①求有关项，，②求算，j=2，4③求故求得逐步回归分析的最优回归方程为：对回归方程进行显著性检验，具体步骤如下：(1)求有关项(2)求F(3)求查表可得：因为F=＞，所以该回归方程显著，可以应用于地理分析。逐步回归分析的实习指导6.5.1实习目的1、巩固逐步回归分析的基本原理及方法步骤。2、掌握逐步回归分析程序的使用方法及技巧。3、求取最优回归方程并应用于预测等。4、掌握逐步回归分析程序的变换应用方法。6.5.2实习内容1、标识符说明N 样本个数M 自变量数F1、F2 F检验的临界值Q 存放选入l个自变量以后的剩余平方和Q2存放y的剩余标准差估计值L 选入自变量的个数X(N,M+1) 存放变量Xα1,Xα2,Xα3,…,Xαm+1=y的数据(α=1,2,3,…,N)R(M+1,M+1) 存放相关系数B(M) 存放回归系数b0,b1,b2,…,blT(M) 临时存贮单元，开始时用以标记自变量是否选上，当xi未选入时T(I)=0，一旦xi选入，则T(I)存放R－1对角线元素。Z(I) 存放回归系数显著性检验的t统计量A(M+1) 存放自变量xi和y的平均数V(M+1) 存放离差平方和的均方根（i=1,2,3,…,m+1）。 F F检验值Sa 剩余标准差yi 原始y值pyi 预测y值Er 预测误差Er% 相对预测误差2、程序5REM逐步回归分析程序10INPUT“样本数N，自变量数M,F检验数F1,F2=”；N,M,F1,F215Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相关系数矩阵60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0135FORK=1TON140G1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))145NEXTK150G1=G1/(V(I)*V(J))155R(I,J)=G1160R(J,I)=G1165NEXTJ170NEXTI175FORI=1TOY180R(I,I)=1185U(I)=V(Y)/V(I)190NEXTI195PRINT“RMatrix”200FORI=1TOY202FORJ=1TOI205PRINTR(I,J),208NEXTJ209PRINT210NEXTI213REM选因子和剔除因子的过程215T1=0220L=0225Q=1230T1=T1+1235V1=0240V2=10245FORI=1TOM250T(I)=0255D=R(I,I)260IFD<1E－08THEN315265W=(R(Y,I)/D)*R(I,Y)270IFW>0THEN300275T(I)=D280IF－W>=V2THEN315285V2=－W290I2=I295GOTO315300IFW<=V1THEN315305V1=W310I1=I315NEXTI320IFT1<=2THEN360325F3=(N－L－1)*V2/Q330IFF3>F2THEN360335L=L－1340K=I2345K1=－K350PRINT“Imin=”；K1，“L=”；L355GOTO390360IFL>=MTHEN475362F3=(N－L－2)*V1／(Q－V1)365IFF3<F1THEN475370L=L+1375K=I1380K1=I1385PRINT“Imax=”；K1,“L=”；L387REM求解求逆紧凑变换390FORI=1TOY395FORJ=1TOY400IFI=KTHEN420405IFJ=KTHEN415410R(I,J)=R(I,J)–R(I,K)*R(K,J)/R(K,K)415NEXTJ420NEXTI425FORI=1TOY430IFI=KTHEN445435R(K,I)=R(K,I)/R(K,K)440R(I,K)=－R(I,K)/R(K,K)445NEXTI450R(K,K)=1/R(K,K)453REM求，F比，455Q=R(Y,Y)460F=(N－L－1)*(1－Q)/(L*Q)465Q2=SQR(Q/(N－L－1))*V(Y)470GOTO230475PRINT“*********************”480IFL=0THEN500485PRINT“L=”；L，“F=”；F，“Sigma=”；Q2490GOSUB510495GOTO505500PRINT“YisIndependentWithX”505END507REM求回归系数b0和bi510D=0515FORI=1TOM520IFT(I)<>0THEN540525B(I)=0530Z(I)=0535GOTO560540D1=R(I,Y)545B(I)=U(I)*D1550D=D+B(I)*A(I)555Z(I)=D1/SQR(T(I)*Q/(N－L－1))560NEXTI565B(0)=A(Y)－D570PRINT“b0=”，B(0)575PRINT“I”，“bi”，“Ti”580FORI=1TOM585PRINTI,B(I),Z(I)590NEXTI595E1=0600K2=0605PRINT“I”，“Yi”，“Pyi”，“Er”，“Er％”610FORK=1TON615D=B(0)620FORI=1TOM625I