非线性回归预测法——高斯牛顿法(詹学朋)

1、非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会 经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非 线性关系，这时，就必须建立非线性回归模型。一、非线性回归模型的概念及其分类非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型有下列几种:双曲线模型:(3-59)二次曲线模型：23Xii(3-60)yi12Xi对数模型：12 Xiyi12 In Xii(3-61)三角函数模型:yi12 sin Xii(3-62)指数模型：yiabxi(3-63)(3-64)yi011Xi12Xi2e(6)幕函数模型：byi axi

2、i罗吉斯曲线：(3-65)11Xiyi1 e oiixi(3-66)2(8)修正指数增长曲线:(3-67)yi a brx根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。第一类：直接换元型。这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，女如: (3-59)、(3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。第二类：间接代换型。这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形

3、 态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而 估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。第三类：非线性型。这类非线性回归模型属于不可线性化的非线性回归模型，女口：（3-66）和（3-67）式。第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。 本节重点研究第一类和第二类即可线性化的非线性回归模型。二、可线性化的非线性回归模型的模型变换及参数估计1.直接换元法换元过程和参数估计方法，如表3-6所示。例设某商店19912000年的商品流通费用率和商品零售额资料如下表：表3-7直接换元法计算表年份商品流通 费用率商品零售

4、 额（万兀）符号yiXi'1xiXi19917.010.20.098019926.211.70.085519935.813.00.076919945.315.00.066719955.016.50.060619964.619.00.052619974.522.00.045519984.425.00.040019994.228.50.035120004.032.00.0313根据上述资料，配合适当的回归模型分析商品零售额与流通费用率的关系，若2001年该商店商品零售额将为36.33万元，对2001年的商品流通费用额作出预测。解：（1）绘制散点图（图略）。从图中可清楚看到：随着商品零售额的

5、增加，流通费用 率有不断下降的趋势，呈双曲线形状。（2）建立双曲线模型。1人1yi 12i令人XiXi得 y 12X；i（3）估计参数。Eviews4.0 软件，hzz 暴 P92 表 3- 7XDependent Variable: YMethod: Least SquaresDate: 03/04/06 Time: 23:08Sample: 1991 2000Included observations: 10VariableCoefficientStd. Errort-StatisticProb.C2.5680000.14402717.82994 :0.0000 X142.760962.2

6、8887718.682070.0000R-squared0.977592Mean dependent var5.100000Adjusted R-squared0.974791S.D. dependent var0.970681 S.E. of regression0.154117Akaike info criterion-0.725347 Sum squared resid0.190018Schwarz criterion-0.664830Log likelihood5.626735F-statistic349.0197Durbin-Watson stat0.741967Prob(F-sta

7、tistic)0.000000 1得回归模型为：y 2.5680 42.7610Xi2间接代换法代换过程和参数估计方法如(暴经济预测P96)表3-8所示。三、高斯一牛顿迭代法高斯一牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模 型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的 最佳回归系数，最后使原模型的残差平方和达到最小。高斯一牛顿法的一般步骤为：(1) 初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。(2) 泰勒级数展开式。设非线性回归

8、模型为：yf(Xi,r)i i=1,2,n (3-68)其中r为待估回归系数，误差项 iN(0,2 )，设：g0（g00）,g；0）,g（p0）i）'，为待估回归系数r （心片）的初始值，将（3-68）式f（xr）在g0点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导 数项，得f df (Xi,g(0)f(W)将(3-69)式代入(3-68)k 0式，则r g(0)(0)gk)(3-69)yi(0)f (Xi, g )f(Xi,r)rkg(0)rk(0) gk6移项:令:(0)yDik0)(0)k则：yi(0)f(x,g(0)yf(Xi,gf(Xi,r)rk(0) rkgk

9、p 1D(0)Dikk 0(0)k）g(0)用矩阵形式表示，上式则为:其中：y1(°)n 1yn(0 )10f (Xi,r)rki=1,2Y（°）(0)(0) f (Xn, g )d；0'g(0)gk0)D(0)B(0)(3-70)#D (0) p#Bp0)Dn(0)Dnji(0)0(0)p 1（3）估计修正因子。用最小平方法对(3-70)式估计修正因子 B（0）,' 1 '则：b(0) D(0)D(0) D(0)Y(0)(3-71)设g为第一次迭代值，则：g（4）精确度的检验。设残差平方和为：g(0)b(0)#SSR0)yi 1SSR(s) SSR

10、(s1)SSR(s)K,当f (Xi, g(S), S为重复迭代次数，对于给定的允许误差率k时，则停止迭代；否则，对 (3-71)式作下一次迭代。7#(5)重复迭代。重复(3-71)式，当重复迭代S次时，则有:#' 1 '修正因子：b DD D(s)丫第(S+1)次迭代值：g(s 1) g(s)b(s)四、应用举例设12个同类企业的月产量与单位成本的资料如下表:表3-9间接代换法计算表企业 编号单位产品成本(元)Yi月产量Xi1160102151163114204128255853169136775408764596651106056116160126065(注：资料来源社会经

11、济统计学原理教科书第435页)试配合适当的回归模型分析月产量与单位产品成本之间的关系。解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型:Yi abx对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：lg yi lg axi igb令: y' lg%, a iga, b' igb则上述指数模型变为：Yi' a'b'xiy；2.26109 0.00831xi对a , b分别求反对数，得 a182.43, b0.981，带入原模型，得回归模型：yi 182.43 0.98广高斯一牛顿迭代法初始回归模型

12、：f(Xj,g(0) 182.43 0.981x残差平方和：SSR0)(yif (冷 g(0)2 1124.15268(2) 泰勒级数展开式。先对指数模型yi abXi中的a和b分别求偏导数。yi a a0 a b bobxia aob bo0.981Xyia0b0axi bXi 1a0 182.43*Xi*0.981b0然后用泰勒级数展开指数模型，移项整理得参见(3-69)、(3-70)式)：Y(°)D(0)B(0)160-150.5866 0.825#51535.0316151-134.2148114-124.3015128-112.933285-100.655091- 91.4

13、49375- 84.694876- 76.948866- 68.582960- 62.310461- 57.708160- 52.43020.7350.68171370.619050.551750.501280.462460.421800.375940.341560.31633丿 0.287402189.02822534.17962878.01103180.74003355.93873453.40523529.75933565.47013556.96583529.54683473.9702(0)(0)丿(3-72)估计修正因子。解(3-72)式矩阵,得:a(0)12 096602889#f(X

14、,g)194.5266 0.9792x0.00180342(0)a1a0a(0)194.5266=+=b1b0b(0)c.9792QJJ丿匕J第一次迭代值:第一次迭代回归模型:精确度的检验。残差平方和:SSR1)(yif (Xi,g(1)2 999.4077给定误差率 K=10-3,则:SSR(1) ssR0)SSR(1)1124.15261 999.40770.12482 k10#作下一次迭代。（5）重复迭代。将a 1代入（3-71）式作第二次迭代。得估计修正因子:b1C (1)?a0.647654043“b0.0000669481J第二次迭代值:f>r、a2a1a195.1743=+

15、=b2b1b(1)c.9791tJJ J<j<J第二次迭代回归模型：f（x,g）195.1743 0.9791x残差平方和：ssR2）(yi f(x,g)2 999.1241#误差率:ssR2) ssr(1)SSF(2)999.4077999.12410.00028 k#误差率达到要求，停止迭代。表3-10计算结果比较最小平方法一次迭代二次迭代回归系数a182.43194.5266195.1743回归系数b0.9810.97920.9791残差平方和SS R1124.1526999.4077999.1241误差率%一12.4820.028相关指数R0.959370.963960.9

16、6397从上表可看出：高斯一牛顿迭代法具有收敛快，精确度高的优点，二次迭代就使精确度高达 99.97%，相关指数也明显提高。理论上可以证明高斯牛顿迭代法经过数 次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而 明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普 及，这点计算就显得微不足道了。SPSS10.0 软件，hzz-暴 P98 表 3-9根据最小平方法，参数为：Eviews4.0 软件，hzz 暴 P98 表 3-9或： Quick/generate Series (生成系列 ) lny=log(y) ， Lny c x结果不对？对b '及a '分别求反对数，得初始值