多元线性回归和非线性回归课件

1、多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件22110)(xxyE1. 表示 保持不变时， 每变动一个单位时的相应变化量.2. 表示 保持不变时， 每变动一个单位时的相应变化量.21x1x)(yE22110 xxy考虑二元线性回归模型12x2x)(yE多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件例例1 1 生产总值是衡量一个国家地区经济发展的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、

2、劳动力、进出口、国家基础设施建设等方面的因素。本例研究财政支出对生产总值的影响。 中国统计年鉴把财政支出划分为31个组成部分，本例只选取其中的13个重要支出项。多元线性回归和非线性回归课件CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.1

3、57.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficie

4、ntstSig.Dependent Variable: ya. 回归系数表用spss软件计算的回归系数如下：多元线性回归和非线性回归课件123456789101112134122901 25.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx 多元线性回归和非线性回归课件多元线性回归和非线性回归课件 对多元回归，总方差同样可分解成如下形式SSRSSESST则决定系数为(12.6)(12.7)多元线性回归和非线性回归课件 多重决定系数反映样本回归方程的拟合好坏程度，R

5、愈大，说明样本回归方程拟合得愈好。显然， . 而称 y 关于 的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度.102 R2121)()(yyyySSTSSRRniiniipxxx,21pxxx,21多元线性回归和非线性回归课件11)1 (1) 1/()() 1/()(1221122pnnRnyypnyyRniiniii 由于样本多重判定系数的分母 SST 对给定的样本数据是不变的，而 SSR 与引进回归方程的自变量个数有关.因此，应对 R 作调整，调整的样本多重判定系数为(12.8)多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归

6、课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件前面的这些计算结果可以列成表格的形式，称为方差分析表. 方差分析表) 1/(/ pnSSEpSSRF) 1,( pnpF多元线性回归和非线性回归课件1xANOVAANOVAb b8.78E+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+01630RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), x13, x7, x2, x9, x6, x1, x3, x11,

7、 x5, x4, x10,x8, x12a. Dependent Variable: yb. 表中的Sig即为显著性P值，由P值0.000（近似值）可知回归方程十分显著。即可以以99.9以上的概率断言所有自变量全体对因变量产生显著线性影响。对例对例1回归方程的检验回归方程的检验:多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件对回归系数的检验:CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.

8、2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.0

9、12(Constant)基本建设支出改造资金科技三项费用农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生产总值a. 多元线性回归和非线性回归课件多元线性回归和非线性回归课件剔除 x3科技三项费 后：CoefficientsCoefficientsa a-41548855446144.26-.763.455-25.4979.557-.326

10、-2.668.01626.89116.821.2091.599.127-95.43851.869-.280-1.840.082-44.71281.932-.079-.546.5928.12262.282.010.130.898-179.053250.935-.042-.714.48550.47013.485.6803.743.001-60.391180.817-.049-.334.742-80.24339.609-.296-2.026.05847.02222.413.4252.098.05053.23034.567.4361.540.14140.62413.318.2703.050.007(C

11、onstant)基本建设支出改造资金农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生产总值a. 多元线性回归和非线性回归课件CoefficientsCoefficientsa a-42863285211760.28-.822.421-25.1678.976-.322-2.804.01126.51816.141.2061.643.117-9

12、1.19739.346-.268-2.318.032-46.75978.306-.082-.597.557-179.366244.347-.042-.734.47250.59913.097.6823.864.001-66.501170.062-.054-.391.700-80.01038.531-.295-2.077.05245.95220.311.4152.262.03654.73831.722.4481.726.10140.14312.460.2673.222.004(Constant)基本建设支出改造资金农业支出农林等部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法

13、司支出城市维护费Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 生产总值a. 多元线性回归和非线性回归课件CoefficientsCoefficientsa a-37120144554130.63-.815.424-26.7787.522-.342-3.560.00228.31111.817.2202.396.026-101.27634.646-.297-2.923.00849.19411.897.6634.135.000-73.62922.303-.

14、272-3.301.00349.94617.028.4512.933.00832.46215.730.2662.064.05145.5859.140.3034.987.000(Constant)x1x2x4x8x10 x11x12x13Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: ya. 多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件多元线性回归和非线性回归课件 水文研究中水文研究中X X和和Y Y的数量关系常常

15、不是的数量关系常常不是线性的，如线性的，如洪峰流量与流域面积洪峰流量与流域面积之间。如之间。如果用线性描述将丢失大量信息，甚至得出果用线性描述将丢失大量信息，甚至得出错误结论。这时可以用错误结论。这时可以用曲线估计曲线估计（Curve Curve estimationestimation）或）或非线性回归非线性回归(Nonlinear (Nonlinear regression) regression) 方法分析。方法分析。 本部分仅就一元非线性回归问题，讨本部分仅就一元非线性回归问题，讨论其参数估计。论其参数估计。多元线性回归和非线性回归课件一元非线性回归方程参数估计的常用方法：一元非线性回

16、归方程参数估计的常用方法：多元线性回归和非线性回归课件1，最简单最常用的方法2，通过对变量作适当变换，将原变量的非线性关 系转化为新变量的线性关系，建立起线性回归方程，然后再还原为原变量，这样建立曲线回归方程的方法称为线性化法。3，首先，要确定非线性函数的类型，然后再考虑能否通过变量变换的方法使之线性化。4，如何确定非线性函数的类型？ 专业知识和经验 数学方法：散点图多元线性回归和非线性回归课件 下面列出一些常用的非线性函数的线性化变换，如果实测数据的散点图大致围绕下列的某一曲线散布，就可采用与之相应的变换，使其转化为线性问题。双曲线型指数曲线型幂函数型对数曲线型S曲线型多元线性回归和非线性回

17、归课件绘制散点图，根据图形和专业知识选取曲线类绘制散点图，根据图形和专业知识选取曲线类型（可同时选取几类）型（可同时选取几类）按曲线类型，作曲线直线化变换按曲线类型，作曲线直线化变换建立直线化的直线回归方程；作假设检验，计建立直线化的直线回归方程；作假设检验，计算决定系数算决定系数将变量还原，写出用原变量表达的曲线方程将变量还原，写出用原变量表达的曲线方程比较决定系数选取比较决定系数选取“最佳最佳”曲线方程曲线方程多元线性回归和非线性回归课件Y多元线性回归和非线性回归课件Y多元线性回归和非线性回归课件Y回归方程为：回归方程为： =19.7451+7.7771lnX=19.7451+7.7771

18、lnX方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F763.50763.50，表明回归方程有意义。，表明回归方程有意义。确定系数为确定系数为0.990.99，表明回归拟合原资，表明回归拟合原资料很好。料很好。Y多元线性回归和非线性回归课件类似于建立线性回归方程的方法，根据类似于建立线性回归方程的方法，根据x,yx,y的原始的原始观测资料，依据最小二乘法原理，直接寻求方程中观测资料，依据最小二乘法原理，直接寻求方程中未知参数的最小二乘估计。未知参数的最小二乘估计。对于非线性回归，由于回归方程是非线性函数，对于非线性回归，由于回归方程是非线性函数，其正规方程组一

19、般是超越方程（非代数方程），其正规方程组一般是超越方程（非代数方程），不不能用代数方法求解，能用代数方法求解，只能用数值解法，迭代计算出只能用数值解法，迭代计算出其近似解。其近似解。多元线性回归和非线性回归课件多元线性回归和非线性回归课件0102030405060020406080住院天数X预后指数Y指数曲线指数曲线多元线性回归和非线性回归课件012345020406080住院天数（天）X预后指数的对数lnY多元线性回归和非线性回归课件Yln回归方程为：回归方程为： 4.037-0.0384.037-0.038X X方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F

20、 F276.38276.38，表明回归方程有贡献。，表明回归方程有贡献。确定系数为确定系数为0.95510.9551，表明回归拟合原，表明回归拟合原资料较好。资料较好。转换为原方程的另一种形式：转换为原方程的另一种形式： XXeeY038. 0)038. 0037. 4(665.56多元线性回归和非线性回归课件XXeYeY0396. 0038. 06066.58;665.56多元线性回归和非线性回归课件XXeYeY0396. 0038. 06066.58;665.56比较两个回归方程可见，对同一份样本比较两个回归方程可见，对同一份样本采用不同估计方法得到的结果并不相同。采用不同估计方法得到的结果并不相同。主要因为曲线直线化