多元统计分析回归分析ppt课件

1、第二讲 回归分析一元线性回归模型多元线性回归模型非线性回归模型引例：消费支出与可支配收入的观测值一、一元线性回归模型一、一元线性回归模型 定义：假设有两个变量x 和y，x为自变量，y为因变量。那么一元线性回归模型的根本构造方式为 式中：a和b为待定参数； 为各组观测数据的下标； 为随机变量。bxay2.1 n,1,2,a 记 和 分别为参数a与b的拟合值，那么一元线性回归模型为 2.2式代表x与y之间相关关系的拟合直线，称为回归直线； 是y的估计值，亦称回归值。a bxbay2.2 y 普通情况下的总体回归模型假定条件下的总体回归模型真实的总体回归直线与估计的样本回归直线样本回归直线是对总体回

2、归直线的近似反映。回归分析的主要义务就是要采用适当的方法，充分利用样本所提供的信息，使得样本回归函数尽能够地接近于真实的总体回归函数。所估计的样本回归直线都不能够与真实的总体回归直线完全一致。 观测值的散点图及其拟合直线 min2ie 参数参数a与与b的最小二乘拟合原那么要求的最小二乘拟合原那么要求yi与与 的的误差误差ei的平方和到达最小，即的平方和到达最小，即 根据取极值的必要条件，有根据取极值的必要条件，有 niiininiiiibxayyyeQ121122min)()(niiiiniiixbxaybxay110)(0)(2.4 iy 一参数一参数a a、b b的最小二乘估计的最小二乘估

3、计 2.3 niiniiixxxyxxyyxxLLb121)()(xbya2112111)(1)(1niiniininiiniiiixnxyxnyx2.5 解上述正规方程组解上述正规方程组2.4式，得式，得到参数到参数a与与b的拟合值的拟合值一元线性回归模型检验的种类一元线性回归模型检验的种类 二一元线性回归模型的显著性检验二一元线性回归模型的显著性检验u实践意义检验实践意义检验参数估计值的符号和取值范围参数估计值的符号和取值范围消费支出与可支配收入：假设估计出来的 b小于 0 或大于 1，xbay收入支出u统计检验统计检验检验样本回归方程的可靠性检验样本回归方程的可靠性拟合程度检验；拟合程度

4、检验；相关系数检验；相关系数检验；参数显著性检验参数显著性检验(t检验检验)；回归方程显著性检验回归方程显著性检验F 检验检验u计量检验计量检验假定条件能否满足假定条件能否满足序列相关检验序列相关检验异方差性检验异方差性检验1 拟合优度检验拟合优度检验所谓拟合程度，是指样本观测值聚集在样本回归直线周所谓拟合程度，是指样本观测值聚集在样本回归直线周围的严密程度。判别回归模型拟合程度优劣最常用的数围的严密程度。判别回归模型拟合程度优劣最常用的数量目的是断定系数量目的是断定系数Coefficient of Determination总的离差平方和：在回归分析中，表示y的n次观测值之间的差别，记为 可

5、以证明2.9niiyyyyLS12)(总niiyyyyLS12)(总niniiiiUQyyyy1122)()(2.8Q 称为误差平方和，或剩余平方和U 回归平方和 niiiyyQ12)(xyxxniiniiniiibLLbxxbxbabxayyU21221212)()()(显而易见，各个样本观测点与样本回归直线靠得越紧，U 在S中所占的比例就越大。因此，可定义这一比例为断定系数，即有： TSUR 2性质： 1、具有非负性，分子分母均是不能够为负值2、断定系数的取值范围为3、断定系数是样本观测值的函数，它也是一个统计量。 2 相关系数的显著性检验相关系数的显著性检验 X和和 Y之间真实的线性相关

6、程度用总体相关系数之间真实的线性相关程度用总体相关系数来表示来表示由于总体未知，由于总体未知，无法计算，我们利用相本相关系数无法计算，我们利用相本相关系数1计算样本相关系数计算样本相关系数 r； 2根据给定的显著性程度根据给定的显著性程度和样本容量和样本容量 n，查相关系数表得，查相关系数表得到临界值到临界值 r 。3假设假设|r|大于临界值大于临界值 ，那么，那么 X与与 Y有显著的线性关系，否那有显著的线性关系，否那么么 X 与与Y 的线性相关关系不显著。的线性相关关系不显著。3 回归参数的显著性检验回归参数的显著性检验t检验检验根据样本估计的结果对总体回归参数的有关假设进展检验根据样本估

7、计的结果对总体回归参数的有关假设进展检验3、根据给定的显著程度确定临界值，或者计算 t 值所对应的 p 值。4、做出判别。 方法：方法：F F 检验法。检验法。 总的离差平方和：在回归分析中，表示总的离差平方和：在回归分析中，表示y y的的n n次次观测值之间的差别，记为观测值之间的差别，记为 可以证明可以证明2.9niiyyyyLS12)(总niiyyyyLS12)(总niniiiiUQyyyy1122)()(2.8 4 回归方程的显著性检验回归方程的显著性检验 统计量F F越大，模型的效果越佳。统计量FF1，n-2。在显著程度下，假设FF，那么以为回归方程效果在此程度下显著。普通地，当FF

8、0.10(1,n-2)时，那么以为方程效果不明显。 2nQUF2.10 二、多元线性回归模型1 1 多元线性回归模型的构造方式为多元线性回归模型的构造方式为 aakaaaxxxyk221102.11 式中： 为待定参数； 为随机变量。 k,10a2 多元线性回归模型的根本假定多元线性回归模型的根本假定 假设 分别为的拟和值，那么回归方程为 b0为常数，b1,b2,bk称为偏回归系数。偏回归系数的意义是，当其他自变量都固定时，自变量 每变化一个单位而使因变量平均改动的数值。kkxbxbxbby221102.12 kbbb,10k,210ix3 回归方程的估计: 偏回归系数的推导过程:根据最小二乘

9、法原理， 的估计值 应该使 由求极值的必要条件得 方程组3.2.14式经展开整理后得 min)()(122211012nakakaaanaaaxbxbxbbyyyQ.2.13 ), 2, 1(0)(20)(2110kjxyybQyybQnajaaajnaaa), 2 , 1 , 0(kii）（k,1,2, 0iib.2.14 方程组2.15式称为正规方程组。 引入矩阵nanaakanakkanakaakaanakananaaanakkaanaaaanaananaaanakkaanaaanaananaanakkanaaayxbxbxxbxxbxyxbxxbxbxxbxyxbxxbxxbxbxyb

10、xbxbxnb11122121101112122122121012111112121121011111212110)(.)()()()()()()()()()()()()()( .2.15) knnnkkxxxxxxxxxxxxX2132313222121k211111.11knnnkkkknkkknnTxxxxxxxxxxxxxxxxxxxxxxxxXXA213231322212121113212232221113121111111111nakanakaanakaanakanakaanaanaaanaanakaanaaananaanakanaanaaxxxxxxxxxxxxxxxxxxxxx

11、n12121111212212112111211211111211nyyyY21nbbbbb210 那么正规方程组2.15式可以进一步写成矩阵方式BAb naakanaaanaaanaanknkkknnTyyyxyxyyyyyxxxxxxxxxxxxYXB112111321321223222111312111111求解得引入记号 YXXXBAbTT11)(najjiiajiijxxxxLL1)(naaiiaiyyyxxL1)(2.16 ),2, 1,(kji),2,1(ki正规方程组也可以写成kkkykkkkkykkykkxbxbxbybLbLbLbLLbLbLbLLbLbLbL2211022

12、112222212111212111)51 . 2 . 3( n回归模型的显著性检验回归模型的显著性检验 回归平方和回归平方和U U与剩余平方和与剩余平方和Q Q： 回归平方和回归平方和 剩余平方和为剩余平方和为 F F统计量为统计量为 计算出来计算出来F F之后，可以查之后，可以查F F分布表对模型进展显著性检验。分布表对模型进展显著性检验。k21x,x,xQULSyy总nanaiyiLbyyU112)(nayyaaULyyQ12)()1/(/knQkUFR=0.950，阐明，阐明 Y 与自变量与自变量 X1、X2 之间的相关程度为之间的相关程度为 95.0%。 样本断定系数样本断定系数0.

13、902 阐明阐明 Y的变动有的变动有 90.2%可以由自变量可以由自变量 X1 和和 X2 解释。解释。 三、非线性回归模型 非线性关系线性化的几种情况非线性关系线性化的几种情况对于指数曲线对于指数曲线 ，令，令 , 可以将可以将其转化为直线方式：其转化为直线方式： ， 其其中，中， ； 对于对数曲线对于对数曲线 ，令，令 ， ，可以，可以将其转化为直线方式：将其转化为直线方式： ；对于幂函数曲线对于幂函数曲线 ，令，令 ， ，可以，可以将其转化为直线方式：将其转化为直线方式： 其其中，中， ； bxdyexbayxbaylnxbaybdxy xbayyylnxx dalnyy xxlnyyl

14、nxxlndaln 对于双曲线 ，令 ，转化为直线方式： ； 对于S型曲线 ，可 转化为直线方式： ； 对于幂乘积 ，只需令 ，就可以将其转化为线性方式 其中， ；xbay1xbayxxxyybaye,1,e1令xbaykkxxdxy2121kkxxxy22110 xxyy1,1kkxxxxxxyyln,ln,ln,ln2211dln0对于对数函数和 只需令 ，就可以将其化为线性方式 例:表3.2.1给出了某地域林地景观斑块面积area与周长perimeter的数据。下面我们建立林地景观斑块面积A与周长P之间的非线性回归模型 。 kkxxxylnlnln22110kkxxxy22110kkxx

15、xxxxyyln,ln,ln,2211 序号序号面积A周长P序号面积A周长P110 447.370625.39242232 844.3004 282.043215 974.730612.286434 054.660289.307330 976.770775.7124430 833.840895.98049 442.902530.202451 823.355205.131510 858.9201 906.1034626 270.300968.060621 532.9101 297.9624713 573.9601 045.07276 891.680417.0584865 590.0802 250

16、.43583 695.195243.90749157 270.4002 407.54992 260.180197.239502 086.426266.54110334.33299.729513 109.070261.8181111 749.080558.921522 038.617320.396122 372.105199.667533 432.253.335138 390.633592.893541 600.391230.030146 003.719459.467553 867.586419.406表3.2.1 某地域各个林地景观斑块面积m2与周长m 15527 620.2006 545.2

17、91561 946.184198.66116179 686.2002 960.4755777.30556.9021714 196.460597.993587 977.719715.7521822 809.1801 103.0705919 271.8201 011.1271971 195.9401 154.118608 263.480680.710203 064.242245.049 6114 697.1301 234.1142146 9416.7008 226.009624 519.867326.317225 738.953498.6566313 157.6601 172.916238 359

18、.465415.151646 617.270609.801246 205.016414.790 654 064.437.355256 0619.0201 549.871665 645.820432.355261 4517.740791.943676 993.355503.7842731 020.1001 700.965684 304.281267.9512826 447.1601 246.977696 336.383347.297 985.926918.312702 651.414292.235303 638.766399.725712 656.824298.4733158 5425.1001

19、1 474.770721 846.988179.8663235 220.6401 877.476731 616.684172.8083310 067.820497.394741 730.563172.1433427 422.5701 934.5967511 303.970881.0423543 071.5501 171.4137614 019.790638.1763657 585.9402 275.389779 277.172862.0883728 254.1301 322.7957813 684.750712.78738497 261.0009 581.298791 949.164228.4

20、033924 255.030994.906804 846.016324.481401 837.699229.40181521 457.4007 393.938411 608.625225.84282564 370.80012 212.410 解解:1作变量交换，令：作变量交换，令： ， ，将表，将表3.2.1中的原中的原始数据进展对数变换，变换后得到的各新变量对应的始数据进展对数变换，变换后得到的各新变量对应的观测数据如表观测数据如表3.2.2所示。所示。 AylnPxln序号y=lnAx=LnP序号y=lnAx=LnP1 9.254 1066.438 3794212.358 138.362

21、1862 9.678 7636.417 243 8.307 6225.667 487310.340 996.653 7824410.336 376.797 9184 9.153 0196.273 258457.508 4335.323 655 9.292 7427.552 8164610.176 196.875 2946 9.977 3387.168 551479.515 9096.951 8417 8.838 076.033 2264811.091 187.718 8798 8.214 7895.496 7894911.965 727.786 3649 7.723 25.284 414507

22、.643 2085.585 52810 5.812 4.602 457518.042 0795.567 65111 9.371 536.326 008527.620 0275.7695 58表3.2.2 经对数变换后的数据127.771 5335.296 653538.140 9385.534 711139.034 8716.385 013547.378 0035.438 211148.700 1346.130 066558.260 3866.038 8391513.176 138.786 501567.573 6265.291 5971612.098 977.993 105574.347 7

23、554.041 328179.560 7486.393 579588.984 4086.573 3341810.034 927.005 852599.866 3996.918 8211911.173 197.051 092609.019 6016.523 208.027 5565.501 457619.595 4087.118 1092113.059 259.0150 56628.416 2385.787 871228.655 0326.211 917639.484 7597.067 248239.031 156.028 643648.797 4386.413 133248.733 1136.027 773658.309 9576.080 7442511.012 367.345 927668.638 6716.069 247269.583 1276.674 49678.852 7166.222 1472710.342 397.438 951688