常见非线性回归模型

1、常见1縊性回归模型1简非线性模型简介非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无法通过代换转化为线性回归模型。柯布道格拉斯生产函数模型y二AKaLp+&其中L和K分别是劳力投入和资金投入,y是产出。由于误差项是可加的,从而也不能通过代换转化为线性回归模型。对于联立方程模型，只要其中有一个方程是不能通过代换转化为线性，那么这个联立方程模型就是非线性的。单方程非线性回归模型的一般形式为y二f（X1，X2，宀斥卩2,，卩p）+S其中心仏”耳是模型的去个解释变量，队、0"»是模型的

2、P个未知参数f是一个非线性函数IE是模型的误差项.关于误差项的假设、也是满足独立、等方差、不相关和零均值.也可以进一步假设误差项服从正态分布d2可化为线性回归的曲线回归在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的具中一些回归模型通过对自变量或因变量的函数变换可以转化为线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。C1）y-P+Pex+801（2）y=卩+px+Px2+Pxp+8012p（3）y=aebx+8（4）y=alnx+b对于（1）式，只需令x'=ex即可化为y对x'是线性的形式y=P°+px/+8，需要指出的是

3、，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。对于（2）式/可以令x=x/x=x2，x=xp，于是得到y关于x,xx12p12p的线性表达式y=P+Px+Px+Px+801122pp对与（3）式，对等式两边同时去自然数对数，得lny=Ina+bx+8冷y'=lny,p=lna,B=b，于是得到y，关于X的一元线性回归模型：01y，=P+Px+8。01乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为y本身是异方差的，而lny是等方差的。加性误差项模型认为y是等ttt方差的。从统计性质看两者的差异，前者淡化了y值大的项（近期数据）的作用，t强化了y值小

4、的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则t对近期数据拟合得效果较好。影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用加权最小二乘。3.多项式回归多项式回归模型是一种重要的曲线回归模型，这种模型通常容易转化为一般的多元线性回归来做处理。1、常见的多项式回归模型回归模型y二B+Px+PX2+6称为一元二阶多项式模型。通常将回归模i01i2ii型中的系数表示成：y二B+Bx+BX2+6,回归函数y=B+Bx+Bx2是一i01i11iii01i11i条抛物线方程，通常称为二项式回归函数。回归系数B

5、为线性效应系数，B为111二次效应系数。当自变量的幂次超过3时，回归系数的解释变得困难起来，回归函数也变得很不稳定，对回归模型的应用会收到影响。因而，幂次超过3的多项式回归模型不常使用。在实际应用当中，常遇到含两个或两个以上自变量的情况，称回归模型：y-B+Bx+Bx2+Bx+Bx2+Bxx+6为二元二阶多项式回i01i111i12i222i212i1i2i归模型。它的回归系数中分别含有两个自变量的线性项系数B和B，二次项系12数B和B，并含有交叉乘积项系数B，交叉乘积项表示x与x的交互作用，11221212系数B通常称为交互影响系数。124.非线性模型在非线性回归中，平方和分解式SST=SS

6、R+SSE不在成立，类似于线性回归中的复决定系数，定义耳审性回归的相关指数：RA2=1-SSE/SST用非线性最小二乘法求解非线性回归方程,非线性最小二乘是使残差平方和达到最小,这种平方损失函数的优点是数学性质好,在一定条件下具有统计学的一些优良性质，但其最大的缺点是缺乏稳健性。当数据存在异常值时,参数的估计效果变得很差。因而在一些场合,可以用一些更稳健的残差损失函数代替平方和损失函数，列如绝对值损失函数。绝对值残差损失函数为:Q(6)=£|y-f(x,6)|有iii=1时候用最小绝对值法的最大残差比普通最小二乘法的最大残差更大，这是否与最小绝对值法的稳健性相矛盾？其实这正说明了最小

7、绝对值法的稳健性。这是因为最小绝对值法受异常值的影响程度小，回归线向异常值靠拢的程度也小，因而异常值的残差反而大。5最小二乘估计非线性回归分析的参数估计有两种基本方法:最大似然估计和最小二乘估计，这里介绍最小二乘估计D若把最小二乘估计记为九那么纭妇应使残差平方和达到最丿卜即mins工Vj心；久，旁，乞)-i由于回归函数/是»唇化的非线性函数.一般无法对正规方程组通过解析的方法求解而必须用某种搜索法或迭代算法获得参数的最小二乘估计中直接搜索法直接搜索法是把参数的所有可能取值都代入s,使S达到最小的取值即为参数的估计值。直接搜索法原理简单，但只适用参数个数少，且参数的可能取值也少(或对参数估计的精度要求不高)的情况。格点搜索法格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入S,而是按一定规律把部分取值代入S。例1设只有一个参数b,b的可能取值为区间0