最新应用回归分析第七章答案

1、第七章 岭回归1. 岭回归估计是在什么情况下提出的？ 答：当解释变量间出现严重的多重共线性时，用 普通最小二乘法估计模型参数，往往 参数估计方差太大，使普通最小二乘法的效果变得很 不理想，为了解决这一问题，统 计学家从模型和数据的角度考虑，采用回归诊断和自变量 选择来克服多重共线性的影 响，这时，岭回归作为一种新的回归方法被提出来了。2. 岭回归估计的定义及其统计思想是什么？ 答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，1X'X I"0 时，我们设想给 X'X 加上一个正常数矩阵 kIk>0, 那么 X'X+kI 接近奇异的程度小

2、得 多， 考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵仍然用 X表示，定义为 ? X'X I X'y ，称为 的岭回归估计，其中 k 称 为岭参数。3. 选择岭参数 k 有哪几种主要方法？ 答：选择岭参数的几种常用方法有 1. 岭迹法， 2. 方差扩大因子法，3.由残差平方和来 确定 k 值。4. 用岭回归方法选择自变量应遵从哪些根本原那么？ 答：用岭回归方法来选择变量应遵从 的原那么有： 1在岭回归的计算中，我们假定设计矩阵 X 已经中心化和标准化了，这样可以直接 比 较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值 很小的

3、自变量。2当 k 值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k 的增加迅速趋于零。像这样的岭回归系数不稳定 , 震动趋于零的自变量，我们也可以予以删 除。3去掉标准化岭回归系数很不稳定的自变量，如果有假设干个岭回归系数不稳定，究1.000000岭回竟去掉几个，去掉哪几个，这并无一般原那么可循，这需根据去掉某个变量后重新进行 归分析的效果来确定。5. 对第5章习题9的数据，逐步回归的结果只保存了3个自变量x1, x2，x5，用y对这3个自变量做岭回归分析。答：依题意，对逐步回归法所保存的三个自变量做岭回归分析程序为：in clude'C:Program FilesSPS

4、SEVALRidge regressi on. sps'. ridgeregdep=y/e nter x1 x2 x5 /start=0.0/stop=1/i nc=0.01.-1.000000-2.000000RIDG E TR ACE4.0000003.0000002.0000000.000000x1 K x2 K x5 K x1Kx2 Kx5 KK岭迹图如下:计算结果为:归系数的岭估计根本稳定，重新做岭回归。岭迹图如下:先取k=0.08语法命令如下：in clude'C:Program FilesSPSSEVALRidge regressio n.sps'.rid

5、gereg dep=y/e nter x1 x2 x5可以看到，变量X1、X2迅速由负变正，X5迅速减小，在之间各回 /k=0.08.运行结果如下:得到回归方程为：y? 0.16x i 0.08 x 2 0.06x 3 738.84再取k=0.01语法命令如下：in clude'C:Program FilesSPSSEVALRidge regressi on. sps'. ridgereg dep=y/e nterx1 x2 x5/k=0.01.运行结果：* Ridge Regressio n with k = 0.01 *Mult R .9931857RSquare .986

6、4179Adj RSqu .9840210SE 329.6916494ANOVA tabledf SS MSRegress 3.000 134202141 44733947Residual 17.000 1847841.9 108696.58F value Sig F411.5487845 .0000000Variables in the Equation0.0796x2 + 0.1014x5B SE (B) Beta B/SE (B)X1.0556780.0615651.0981355.9043751x2.0796395.0218437.32912933.6458814x5.1014400.

7、0108941.56210889.3114792Con sta nt 753.3058478 121.7381256 .0000000 6.1879205回归方程为：从上表可看出，方程通过F检验，R检验，经查表，所有自变量均通过t检 验，说明回归方程通过检验。从经济意义上讲，X1 农业增加值、X2 工业增加值X5 社会消费总额 的增加应该对y 财政收入有正方向的影响，岭回归方程中三个自变量的系 数 均为正值，与实际的经济意义相符。比逐步回归法得到的方程有合理解释。6. 对习题3.12的 问题，分别用普通最小二乘和岭回归建立GDP对第二产业增加值x2，和第三产业增加值 x3的二元线性回归，解释所

8、得到的回归系数？答：1 普通最小二乘法：Coe fficie nts aModelUn sta ndardized Coefficie ntsStan dardized Coefficie ntstSig.BStd. ErrorBeta1 (Co nsta nt)4352.859679.0656.410.000第二产业增加值1.438.151.7759.544.000第三产业增加值.679.244.2262.784.017a. Depe nde nt Variable: GDP根据上表得到y与x2， x3的线性回归方程为：y? =4352.859+1.438x2+0.679x3 上式中的回归系

9、数得不到合理的解释.?3的数值应该大于1,实际上，X3的年增长幅度大于X1和X2的年增长幅度，因此合理的?3的数值应大于1。这个问 题产生的原因仍然是存在共线性， 所以采用岭回归来改进这个问题。2) 岭回归法：程序为：include'C:Program FilesSPSSEVALRidge regression.sps'. ridgereg dep=GDP/enter x2 x3/start=0.0/stop=0.5/inc=0.01.根据岭迹图如以下图可知，?2k和？3k很不稳定，但其和大体上稳定，说明 x2 和 x3 存在多重共线性。取 k=0.1 ， SPSS 输出结果为

10、：Mult R .998145 ， RSquare .996294Adj RSqu .995677 ， SE2364.837767ANOVA tabledf SS MSRegress 2.000 1.80E+010 9.02E+009Residual 12.000 67109492 5592457.7F valueSig F1613.140715.000000Variables in the EquationB SE(B) Beta B/SE(B)x2.907990 .021842 .48906741.571133x31.393800 .035366 .46364939.410560Con s

11、ta nt 6552.305986 1278.903452 .000000 5.123378RIDG E TR AC E0.8000000.700000x2Kx3K0.6000000.5000000.4000000.3000000.200000i11111r0 000000.100000.400000.50000 60000岭回 归 系 数?与 前 面 的 分 析 是吻 合的 ，其 解释得岭参数？k3=O.122时7,岭回归万程为 y? =65 52 .306+0 是.9当08第二X2产+1业.3增93加8值x23保，持不变时，第三产业增加值X3每增加1亿元GDP增加1.227亿元，这 个解释

12、是合理的y?7. 一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的方法，表7.5是该银行所属25家分行2002年的有关业务数据。(1 )计算y与其余四个变量的简单相关系数。2 建立不良贷款 y 对 4 个自变量的线性回归方程，所得的回归系数是否合理？ 3 分析回归模型的共线性。 4 采用后退法和逐步回归法选择变量，所得回归方程的回归系数是否合理，是否还 存在共线性？ 5 建立不良贷款 y 对 4 个自变量的岭回归。 6 对第 4 步剔除变量后的回归方程再做岭回归

13、。变量 7 某研究人员希望做 y 对各项贷款余额，本年累计应收贷款 .贷款工程个数这三个 的回归，你认为这种做是否可行，如果可行应该如何做？相关性不良贷款y各项贷款余额x1本年累计应收到款x2贷款工程个数x3本年固定资产投资额x4Pears on 相关性不良贷款y1.000.844.732.700.519各项贷款余额x1.8441.000.679.848.780本年累计应收到款x2.732.6791.000.586.472贷款工程个数x3.700.848.5861.000.747本年固定资产投资额x4.519.780.472.7471.000Sig.单侧不良贷款y.000.000.000.00

14、4各项贷款余额x1.000.000.000.000'本年累计应收到款X2.000.000.001.009贷款工程个数x3.000.000.001.000本年固定资产投资额x4.004.000.009.000N不良贷款y2525252525各项贷款余额x12525252525本年累计应收到款x22525252525贷款工程个数x32525252525本年固定资产投资额x42525252525系数a模型非标准化系数标准系数tSig.共线性统计量B标准误差试用版容差VIF1常量-1.022.782-1.306.206各项贷款余额x1.040.010.8913.837.001.1885.331

15、本年累计应收到款x2.148.079.2601.879.075.5291.890贷款工程个数x3.015.083.034.175.863.2613.835本年固定资产投资额x4-.029.015-.325-1.937.067.3602.781a.因变量:不良贷款y共线性诊断a方差比例本年固定条件索各项贷款余本年累计应贷款工程个资产投资模型维数特征值引常量额x1收到款x2数x3额x4114.5381.000.01.00.01.00.002.2034.733.68.03.02.01.093.1575.378.16.00.66.01.134.0668.287.00.09.20.36.725.0361

16、1.215.15.87.12.63.05a.因变量:不良贷款y后退法得系数a模型非标准化系数标准系数tSig.B标准误差试用版1常量-1.022.782-1.306.206各项贷款余额x1.040.010.8913.837.001本年累计应收到款x2.148.079.2601.879.075贷款工程个数x3.015.083.034.175.863本年固定资产投资额x4-.029.015-.325-1.937.0672常量-.972.711-1.366.186各项贷款余额x1.041.009.9144.814.000本年累计应收到款x2.149.077.2611.938.066本年固定资产投资额

17、x4-.029.014-.317-2.006.0583常量-.443.697-.636.531各项贷款余额x1.050.0071.1206.732.000本年固定资产投资额x4-.032.015-.355-2.133.044a.因变量:不良贷款y逐步回归得系数a模型非标准化系数标准系数tSig.B标准误差试用版1常量-.830.723-1.147.263各项贷款余额x1.038.005.8447.534.0002常量-.443.697-.636.531各项贷款余额x1.050.0071.1206.732.000本年固定资产投资额x4-.032.015-.355-2.133.044a.因变量:不

18、良贷款yR-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUESOF Kx2 x3 x4K RSQ x1.00000.79760.891313.259817.034471-.324924.05000.79088.713636.286611.096624-.233765.10000.78005.609886.295901.126776-.174056.15000.76940.541193.297596.143378-.131389.20000.75958.491935.295607.153193-.099233.25000.75062.454603.

19、291740.159210-.074110.30000.74237.425131.286912.162925-.053962.35000.73472.401123.281619.165160-.037482.40000.72755.381077.276141.166401-.023792.45000.72077.364000.270641.166949-.012279.50000.71433.349209.265211.167001-.002497.55000.70816.336222.259906.166692.005882.60000.70223.324683.254757.166113.

20、013112.65000.69649.314330.249777.165331.019387.70000.69093.304959.244973.164397.024860.75000.68552.296414.240345.163346.029654.80000.68024.288571.235891.162207.033870.85000.67508.281331.231605.161000.037587.90000.67003.274614.227480.159743.040874.95000.66508.268353.223510.158448.0437871.0000.66022.2

21、62494.219687.157127.046373Run MATRIX procedure:* Ridge Regression with k = 0.4 *Mult R .802353780RSquare .643771588Adj RSqu .611387187SE 2.249999551ANOVA table df SS MSRegress 2.000 201.275 100.638Residual 22.000 111.375 5.062F value Sig F19.87906417 .00001172 Variables in the Equation B SE(B) Beta

22、B/SE(B)x1.025805860 .003933689 .5744623956.560218798x4.004531316 .007867533 .050434658.575951348Constant .357087614 .741566536 .000000000 .481531456 END MATRIX Y 对 x1 x2 x3 做岭回归Run MATRIX procedure:* Ridge Regression with k = 0.4 *Mult R .850373821RSquare .723135635Adj RSqu .683583583SE 2.030268037ANOVA table df SS MSRegress 3.000 226.089 75.363Residual 21.000 86.562 4.122F value Sig F18.28313822 .00000456Variables in the Equation -B SE(B) Beta B/SE(B)x1.016739073