非线性回归预测法-高斯牛顿法(詹学朋)

#DependentVariable:YMethod:LeastSquaresDate:03/04/06Time:23:08Sample:19912000Includedobservations:10VariableCoefficientStd.Errort—StatisticProb.C2.5680000.14402717.829940.0000X142.760962.28887718.682070.0000R—squared0.977592Meandependentvar5.100000AdiustedR—squared0.974791S.D.dependentva,r0.970681S.E.ofregression0.154117Akaikeinfocriterion—0.725347Sumsquaredresid0.190018Schwarzcriterion—0.664830Loglikelihood5.626735F—statistic349.0197Durbin—Wa.tsonsta.t0.741967Prob(F-sta.tistic)0.0000001得回归模型为：y=2.5680+42.7610-ixi间接代换法代换过程和参数估计方法如(暴经济预测P96)表3-8所示。三、高斯—牛顿迭代法高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯—牛顿法的一般步骤为：初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。泰勒级数展开式。设非线性回归模型为：y二f(x,r)+£i=l,2,…，n(3—68)iii其中r为待估回归系数，误差项e〜N(0,b2)，设：

g0=(g00)，g10)，Ag(01)'，为待估回归系数r=(ro,r1，Arp-1)'的初始值,将(3-68)式f（x.,r）在g0点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导i数项，得—、—、茁Cf(—、—、茁Cf(x,r)f(x,r)沁f(x,g(0))+乙匚—ii(k=0L将(3-69)式代入(3-68)式，贝―、茁rCf(x,r)y-f(x,g(0))+乙-—匚—iik=0■iCrk■iCrkr=g(o)"一g(o))kk(3-69)r=g(o)移项：y—f(y—f(x,g(0))沁iik=0iCrkr=g(o)"一g(o)Lskk令：y(o)=y-f(x,g(o))iiiD(o)=ikCf(x,r)D(o)=ikr=g(0)Crr=g(0)kB(o)=r一g(o)kkk则：y（0）D则：y（0）D（0）B（0）+8iikkik=o用矩阵形式表示，上式贝为其中：i=1,2，…，nY⑼沁D（o）B（o）+s(3-70)Y(0)Y(0)nxly1-f(x],g(o))M、y一f(x,g(0))丿nnD(o)=nxD(o)=nxp‘D(o)A10MD(o)A

n0D(o)np-1B(o)=px1oM、卩（0）丿

p-1丿(3-71)（3）估计修正因子。用最小平方法对（3-70）式估计修正因子B（0）,贝y：b（o）=^D（o）'D（oJ1D（o）'Y（o）(3-71)设g⑴为第一次迭代值，贝9：g（1）=g（o）+b（o）（4）精确度的检验。设残差平方和为：SSR(o)[y-f(x,g($J,S为重复迭代次数，对于给定的允许误差率K,当iii=1SSR(s)-SSR(s-1)<k时，则停止迭代；否则，对(3-71)式作下一次迭代。SSR(s)重复迭代。重复(3-71)式，当重复迭代S次时，则有：修正因子：b(s)=(s)'D(sJ1D(s)'Y(s)第(S+1)次迭代值：g(s+1)=g(s)+b($)四、应用举例设12个同类企业的月产量与单位成本的资料如下表：表3-9间接代换法计算表企业编号单位产品成本(兀)y月产量xi1160102151163114204128255853169136775408764596651106056116160126065(注：资料来源《社会经济统计学原理教科书》第435页)试配合适当的回归模型分析月产量与单位产品成本之间的关系。解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型y=abx.i对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：lg$=lga+xlgb令:y'=lg$,a'=lga,b'=lgb则上述指数模型变为：y'=a'+b'xy'=2.26109-0.00831x对ab'分别求反对数，得a=182.43,b=0.981，带入原模型,得回归模型：9=182.43x0.981x(..高斯—牛顿迭代法初始回归模型：f(x,g(0))=182.43x0.981x..残差平方和：SSR(o)=工(y—f(x,g(o)))2=1124.1526..(2)泰勒级数展开式。先对指数模型y二abxi中的a和b分别求偏导数。i=bxia=a=a0b=b0空db=axbx._1a=aba==ba00=182.43*x*0.981xi_1i然后用泰勒级数展开指数模型，移项整理得(注：参见(3-69)、(3-70)式)：Y(o)1160-150.58661151-134.2148114-124.3015128-112.933285-100.655091-91.449375-84.694876-76.948866-68.582960-62.310461-57.708160-52.4302丿0.825451535.03160.735712189.02820.681372534.17960.619052878.01100.551753180.74000.501283355.93870.462463453.40520.421803529.75930.375943565.47010.341563556.96580.316333529.54680.287403473.9702D(o)(3)估计修正因子。解(3-72)式矩阵，得：a(0)B(o)a(0)b(0)(3-72)匕b(0)第一次迭代值：12.09660288－0.00180342194.52660.9792第一次迭代回归模型：f(x,g⑴)=194.5266x0.9792x.i(4)精确度的检验。残差平方和：SSR（i）=工（y-f（x,g（1）））2二999.4077ii给定误差率K=10-3,则:SSR⑴-SSR（o）SSR（i）

11124.1526

-999.4077

=0.12482>k作下一次迭代。(5)重复迭代。将pl代入(3-71)式作第二次迭代。得估计修正因子:bL1丿a（1）丄a（1）丄b（1）0.647654043－0.000066948第二次迭代值:195.17430.9791195.17430.9791第二次迭代回归模型：f(x,g(2))二195.1743x0.9791%i残差平方和：SSR⑵二工(帯f(x，g⑵))2二999.1241误差率：SSR（2）-SSR⑴SSR（2）

1-999.4077一999.1241

=0.00028<k误差率达到要求，停止迭代。表3-10计算结果比较回归系数a回归系数b残差平方和SSR误差率%相关指数R最小平方法一次迭代182.430.9811124.15260.95937194.52660.9792回归系数a回归系数b残差平方和SSR误差率%相关指数R最小平方法一次迭代182.430.9811124.15260.95937194.52660.9792999.407712.4820.96396二次迭代195.17430.9791999.12410.0280.96397从上表可看出：高斯—牛顿迭代法具有收敛快，精确度高的优点，二次迭代就使精确度高达99.97%，相关指数也明显提高。理论上可以证明高斯—牛顿迭代法经过数次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。SPSS10.0软件，hzz—暴P98表3—9根据最小平方法，参数为：Eviews4.0软件，hzz—暴P98表3—9或：Quick/generateSeries(生成系列)lny=log(y),Lnycx结果不对？对及a‘分别求反对数，得初始值：ao=182.43,bQ=0.981，初始回归模型：f(x,g(o))=182.4