非线性回归课件

1、非线性回归PPT课件第八章第八章 非线性回归非线性回归8.1 可化为线性回归的曲线回归8.2 多项式回归8.3 非线性模型8.4 本章小结与评注非线性回归PPT课件8.1 可化为线性回归的曲线回归y=0+1ex + （8.1） 可线性化的曲线回归模型, 也称为本质线性回归模型 只须令x=ex即可化为y对x是线性的形式y=0+1x+需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。非线性回归PPT课件8.1 可化为线性回归的曲线回归y=0+1x+2x2+pxp + （8.2）令x1=x,x2=x2,，xp=xp，于是得到y关于x1,x2,，xp的线性表达式y=0+1x1+2x

2、2+pxp+ (8.2)式本来只有一个自变量x，是一元p次多项式回归，在线性化后，变为p元线性回归。非线性回归PPT课件8.1 可化为线性回归的曲线回归y=aeb xe （8.3）可线性化的曲线回归模型, 也称为本质线性回归模型 对等式两边同时取自然对数，得：lny=lna+bx+令y=lny, 0=lna,1=b,于是得到y关于x的一元线性回归模型y=0+1x+非线性回归PPT课件8.1 可化为线性回归的曲线回归不可以线性化的曲线回归模型, 也称为本质非线性回归模型 y= aeb x +（8.4） 当b未知时，不能通过对等式两边同时取自然对数的方法将回归模型线性化，只能用非线性最小二乘方法求

3、解。 (8.3)式的误差项称为乘性误差项 (8.4)式的误差项称为加性误差项。 一个非线性回归模型是否可以线性化，不仅与回归函数的形式有关，而且与误差项的形式有关。 非线性回归PPT课件8.1 可化为线性回归的曲线回归 在对非线性回归模型线性化时，总是假定误差项的形式就是能够使回归模型线性化的形式，为了方便，常常省去误差项，仅写出回归函数的形式。 例如把回归模型（8.3）式y=aeb xe简写为 y=aeb x非线性回归PPT课件8.1 可化为线性回归的曲线回归SPSS软件给出的10种常见的可线性化的曲线回归方程非线性回归PPT课件8.1 可化为线性回归的曲线回归 除了以上SPSS软件中收入的

4、几种曲线回归外，另外几种其他常用的曲线回归,例如1. 双曲函数 baxxy或等价地表示为 xbay11非线性回归PPT课件8.1 可化为线性回归的曲线回归(a0, b0)非线性回归PPT课件8.1 可化为线性回归的曲线回归2. S型曲线 xbeay1 此S型曲线当a0，b0时，是x的增函数。 当x+时，y1/a ; x-时，y0。 y=0与y=1/a是这条曲线的两条渐进线。 S型曲线有多种，其共同特点是曲线首先是缓慢增长，在达到某点后迅速增长，在超过某点后又变为缓慢增长，并且趋于一个稳定值。 S型曲线在社会经济等很多领域都有应用，例如某种产品的销售量与时间的关系，树木、农作物的生长与时间的关系

5、等。非线性回归PPT课件8.1 可化为线性回归的曲线回归非线性回归PPT课件8.1 可化为线性回归的曲线回归 SPSS软件中的S型曲线y=exp(b0+b1/t): 当b10时，曲线在t的正实轴上是t的减函数，不是通常意义下的S型曲线。 SPSS软件中的逻辑函数在0b1F -0.0516 0.004 -0.2376 0.053 -0.3034 0.021 -0.3126 0.030 -0.378 0.016 X22 ProbF 0.00245 0.100 0.00336 0.033 0.00323 0.048 0.0046 0.019 X3 ProbF -0.292 0.107 -1.115

6、0.168 -1.430 0.033 X23 ProbF 0.0206 0.251 0.0317 0.039 X13 ProbF -2.33 0.058 R-square 83.14 92.12 97.11 98.73 99.99 非线性回归PPT课件8.2 多项式回归多项式回归22X 此时的逐步回归共进行了5步，依次选入了X2， X22= ，X3，X23=X2 X3，X13= X1 X3共5个变量，共计算出5个回归模型: 第一个回归模型最先选入的是X2，说明无水碳酸钠的含量是最重要的影响因素； 第二个回归模型再选入的是X22= ，进一步说明无水碳酸钠的含量是最重要的影响因素，并且说明y与X2

7、的关系是非线性的22200245. 02375. 0975. 5XXy 容易求出此方程在X2=48.548时达极小值y=0.197，比第6号实验值y=0.147略高。 22X非线性回归PPT课件8.2 多项式回归多项式回归再看第三个回归方程： 322229. 000336. 0303. 0311. 7XXXy 为使y值最小，X3应该最大，取X3=1.4，X2的取值与X3无关，容易求出此方程在X2=45.145，X3=1.4时达极小值y=0.074，低于第6号实验值y=0.147。非线性回归PPT课件8.2 多项式回归多项式回归第四个回归方程是： 2223237.8730.31260.00323

8、1.1150.0206yXXXX X 在回归方程含有X3的两项1.115 X3+0.0206 X2X3中，当X254时是X3的减函数，根据对第二和第三两个回归方程的分析，两个方程中X2的最优解分别是48和45，所以有理由认为X254，y是X3的减函数，X3越大y越小，因此取X3=1.4。 把X3=1.4代入以上方程中，解得X2的极小值是X2=43.944，所以第四个回归方程的最优组合是X2=44，X3=1.4，此时最优预测值y=0.080，与第三个回归方程的最优解基本相同。 非线性回归PPT课件8.2 多项式回归多项式回归第五个方程是： 其中包含了变量X1，并且是作为与X3的交互作用形式出现，

9、说明EDTA对实验指标本身没有影响，只是通过焦亚硫酸钠对实验产生弱的影响。仿照对第四个回归方程求最优解的方法，首先确定X1和X3是y的减函数，分别取最大值X1=0.12和X3=1.4，然后再解得X2=41.241。最优预测值y= 0.1280 ，可以视为接近0。22232313 9.16-0.3790.00406 -1.43 0.0317 -2.33 yXXXX XX X非线性回归PPT课件8.2 多项式回归多项式回归 比较第三、四、五这3个回归模型，回归方程的决定系数分别是： 97.11、98.73、99.99%， 从回归的效果看第五个回归的效果最好，但是有6个估计参数，而y的数据只有7个，

10、所以估计的误差会较大。 第三、四两个回归模型的实验条件基本相同，预测值也很接近，约为0.080，明显小于第6号实验的吸收度y=0.147，是一组稳定的好条件，见表6.13。非线性回归PPT课件8.2 多项式回归多项式回归最 优 搭 配 回归 模型 X1（g） X2（g） X3（g） 最优 预测值 二 三 四 五 0.00 0.00 0.00 0.12 48 45 44 41 0.0 1.4 1.4 1.4 0.197 0.074 0.080 0.000 表表6.13 6.13 吸收度的最优实验条件吸收度的最优实验条件非线性回归PPT课件8.2 多项式回归多项式回归 本例的文献17对吸收度y值先

11、取了倒数作为实验指标，其数值越大越好，然后建立回归方程。这样做的一个好处是避免了本例回归模型五预测值为负值的情况，但是回归方程的效果不好。文献中得到的最优条件是X1=0.12、X2=38、X3=1.4，和本例第五个模型相差不大。 非线性回归PPT课件8.3 非线性模型非线性模型 一、非线性最小二乘一、非线性最小二乘非线性回归模型一般可记为：yi = f (xi,)+i , i=1,2,n （8.9）其中，yi是因变量， 非随机向量xi=(xi1,xi2,，xik) 是自变量， =(0,1,，p )是未知参数向量， i是随机误差项并且满足独立同分布假定，即n),2, 1,j , (i j i ,

12、 0ji , ),cov(n , 2, 1,i , 0)E(2jii非线性回归PPT课件8.3 非线性模型非线性模型 对非线性回归模型 我们仍使用最小二乘法估计参数，即求使得 niiixfyQ12),()(非线性回归PPT课件8.3 非线性模型非线性模型 pjfxfyQnijjjiijjj, 2, 1 , 0 0),(21称为非线性最小二乘估计的正规方程组 非线性回归PPT课件8.3 非线性模型非线性模型 在非线性回归中，平方和分解式SST=SSR+SSE不再成立。类似于线性回归中的复判定系数，定义非线性回归的相关比为： SSTSSER12相关比也称为相关指数。 非线性回归PPT课件8.3 非

13、线性模型非线性模型 二、非线性回归模型的应用二、非线性回归模型的应用 例例8.4 一位药物学家使用下面的非线性模型对药物反应拟合回归模型：iiiccxccy12001 自变量x是药剂量，用级别表示； 因变量y是药物反应程度，用百分数表示。 3个参数c0、c1、c2都是非负的，根据专业知识，c0的上限是100%， 3个参数的初始值取为c0=100，c1=5，c2=4.8。测得9个反应数据如下：非线性回归PPT课件8.3 非线性模型非线性模型 x 1 2 3 4 5 6 7 8 9y(%)0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4X1086420Y10080

14、6040200-20图图8.3 药物反应程度散点图药物反应程度散点图非线性回归PPT课件8.3 非线性模型非线性模型 在SPSS的Regression菜单下点选Nonlinear，进入非线性回归对话框，将y点入因变量框，在model Expression框中输入回归函数c0-c0/(1+(x/c2)*c1),然后点Parameters进入参数设置框赋给未知参数初值。非线性回归PPT课件8.3 非线性模型非线性模型 Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.607043

15、44 97.7943996 6.57938197 4.74460195 2 32.60704344 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.541176

16、8 6.76104089 4.79966204 5 20.18803580 99.5411768 6.76104089 4.79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.79964382非线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性模型非线性模型 y yy序号xye1

17、10.500.5-50.48889222.30.272.03-50.21889333.43.98-0.58-46.50889442422.481.52-28.008895554.756.61-1.916.121116682.181.520.5831.031117794.892.342.4641.851118896.296.49-0.2946.001119996.498.14-1.7447.65111均值550.4888950.203330.285556-0.28556离差平方和6014917.8915156.5519.4316215156.55平方和28537860.0437839.8520.

18、1880315157.28非线性回归PPT课件8.3 非线性模型非线性模型 本例回归离差平方和SSR=15156.55，而总离差平方和SST=14917.89116的限制回归迭代就收敛了。非线性回归PPT课件8.3 非线性模型非线性模型 龚珀兹模型和几种常见的非线性回归模型可以用三和值法求解，见参考文献15第13章。 在正态误差假定下，非线性回归的最小二乘估计与极大似然估计是相同的，而极大似然估计具有好的大样本性质，例如渐近无偏性、渐近正态性、一致性等。因而非线性最小二乘估计值比三和值更精确，可以把三和值法的参数估计值作为求解非线性最小二乘的初值。非线性回归PPT课件8.3 非线性模型非线性模

19、型 【例【例8.6】 下表8.9是我国从19502005年历年大陆总人口数，试用威布尔（Weibull）曲线拟合数据并做预测。威布尔曲线如下：tcyka b 其中参数k是变量发展的上限，参数a 0, 0 b 0。非线性回归PPT课件8.3 非线性模型非线性模型 表表8.9 我国历年大陆总人口数我国历年大陆总人口数 单位：亿人单位：亿人年份ty年份ty195015.51961978299.6259195125.631979309.7542195235.74821980319.8705195345.879619813210.00721975269.24220035412.92271976279.3

20、71720045512.99881977289.497420055613.0756非线性回归PPT课件8.3 非线性模型非线性模型 根据人口学的专业预测，我国人口上限为16亿人，因此取k的初值=16，取b的初值=0.5，取c的初值=1。 对以上初值把t=1时（即1950年）=5.5196代入，得， 用以上初值做非线性最小二乘，得下面的输出结果8.7。从中看到，人口上限为k=15.76亿人，这与人口学预测的人口上限16亿人完全一致。图8.5是用Excel绘制的人口趋势预测图，其中粗实线是观测值，虚细线是预测值。12()aky2(165.5)21非线性回归PPT课件8.3 非线性模型非线性模型 非

21、线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性模型非线性模型 图图8.5 威布尔模型预测我国人口趋势图威布尔模型预测我国人口趋势图非线性回归PPT课件8.3 非线性模型非线性模型 【例【例8.6】 柯布道格拉斯生产函数研究。在计量经济学中有一种熟知的C-D（CobbDouglas）生产函数 yAK L 其中，y为产出,K(资本)、L(劳力)为两个投入要素，A0为效率系数、和为K和L的产出弹性，A、 均为待估参数。非线性回归PPT课件8.3 非线性模型非线性模型 是产出对资本投入的弹性系数，度量在劳动投入保持不变时资本投入增加1%时产出增加的百分比。 是产出对

22、劳动投入的弹性系数，度量在资本投入保持不变时劳动投入增加1%时产出增加的百分比。 两个弹性系数之和 + 表示规模报酬（returns to scale）。+ =1表示规模报酬不变，即1倍的投入带来1倍的产出；+ 1表示规模报酬递减，即1倍的投入带来少于1倍的产出；+ 1表示规模报酬递增，即1倍的投入带来大于1倍的产出。非线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性非线性模型模型 年份tGDPKL lnGDPlnKlnL197813624.1 1377.9 401528.1953617.22831610.60043197924038.2 1474.2 410

23、248.3035547.29587110.62191198034517.8 1590.0 423618.4157807.37148910.65398198144862.4 1581.0 437258.4892877.36581310.68568198255294.7 1760.2 452958.5744627.47318310.72095198365934.5 2005.0 464368.6885387.60339910.74583198477171.0 2468.6 481978.8778007.81140610.78305198588964.4 3386.0 498739.1010168.

24、12740510.817241986910202.2 3846.0 512829.2303598.25478910.8451019871011962.5 4322.0 527839.3895328.37147410.8739419881114928.3 5495.0 543349.6110148.61159410.9029119891216909.2 6095.0 553299.7356138.71522410.9210519901318547.9 6444.0 647499.8281128.77090511.0782719911421617.8 7517.0 654919.9812728.9

25、2492211.0896719921526638.1 9636.0 6615210.190109.17326111.0997119931634634.4 14998.0 6680810.452609.61567211.1095819941746759.4 19260.6 6745510.752779.86581711.1192219951858478.1 23877.0 6806510.9764110.0806711.1282219961967884.6 26867.2 6895011.1255610.1986611.1411419972074462.6 28457.6 6982011.218

26、0510.2561711.1536819982178345.2 29545.9 7063711.2688810.293711.1653119992282067.5 30701.6 7139411.3153010.3320711.1759720002389468.1 32611.4 7208511.4016410.3924211.1856020012497314.8 37460.8 7302511.4857110.5310511.19856200225105172.3 42355.4 7374011.5633610.6538511.20830非线性回归PPT课件8.3 非线性模型非线性模型 其中

27、，y是国内生产总值GDP (单位：亿元)， K是资金投入，包括固定资产投资和库存占用资 金(单位：亿元)， L是就业总人数(单位：万人)。 (1)假设随机误差项为相乘的，我们可以用两边取对数的办法，按照（8.15）式将模型转化线性形式，对数变换后的数据见表8.14，用SPSS作线性回归得如下结果： 非线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性模型非线性模型 得两个弹性系数为=0.902， =0.361，资金的贡献率大于劳动力的贡献率。规模报酬+ =0.902+0.361=1.2631表示规模报酬递增。效率系数A=0.1242。其中系数 的显著性概率P值=

28、0.087，显著性较弱。得乘性误差项的C-D生产函数为：0.9020.3610.1242yKL非线性回归PPT课件8.3 非线性模型非线性模型 对加性误差项模型,不能通过变量变换数转化成线性模型，只能用非线性最小二乘法求解未知参数。以上面乘性误差项的参数为初值做非线性最小二乘，经过81步迭代得下面的输出结果8.。其中参数的置信度为95%的置信区间为（-0.555 ，1.565），包含0在内，因而不能认为非0，显著性较弱。得乘性误差项的C-D生产函数为：0.9220.5050.020yKL非线性回归PPT课件8.3 非线性模型非线性模型 非线性回归PPT课件8.3 非线性模型非线性模型 非线性回

29、归PPT课件8.3 非线性模型非线性模型 使用线性化的乘性误差项模型，由共线性检验得方差扩大因子VIF=15.5。使用岭回归，选取岭参数k=0.20，这时R2从原来的0.998 14下降为0.980 58，得岭回归如下：* Ridge Regression with k = 0.20 * B SE(B) Beta B/SE(B)lnK .49700385 .02048319 .51558506 24.26398868lnL 2.18274631 .11798929 .39309616 18.49952910Constant -18.43784255 1.27336521 .00000000 -14.47961853 非线性回归PPT课件8.3 非线性模型非线性模型 其中=0.4970， =2.183，A= 表明劳动力的贡献率远大于资金的贡献率，与普通最小二乘的结果完全相反。并且 =2.183也不符合经济意义。 从统计方法看，岭回归的结果是可信的，但是我们对其计算结果却无法给出合理的解释。18.43899.828 10e非线性回归PPT课件8.3 非线性模型非线性模型 三、其他形式的非线性回归三、其他形式的非线性回归 非线性最小二乘是使残差平方和达极小的方法,其最大的缺点是缺乏稳健性。当数据存在异常值时，参数的估计效果变得很差。因而在一些场合，我们希望用