第六章 非线性回归

第六章

非线性回归

曲线回归多项式回归第六章

非线性回归

非线性回归的类型1、曲线回归

包括指数函数曲线、对数函数曲线、幂函数曲线、S型函数曲线和双曲线函数等比较简单的曲线回归模型。

函数表达式比较复杂的曲线回归模型。第六章

非线性回归

非线性回归的类型2、多项式回归一元多项式回归（一个自变量，有一次项、二次项…高次项等，图形是曲线。）多元多项式回归（两个或多个自变量，各有一次项、二次项…高次项和交叉乘积项等，图形是曲面。）

反应面回归（多个自变量、一次或二次多项式回归，图形是曲面。）第一节常见曲线回归形式一、第一节常见的曲线回归二、第一节常见的曲线回归三、第一节常见的曲线回归四、S形曲线（Logistic曲线）1.基本形式2.图形第一节常见的曲线回归k五、第一节常见的曲线回归常见的曲线模型：第

１

种曲线模型:y=a+bx*x.

第

２

种曲线模型:y=a+bx*x*x.第

３

种曲线模型:y=1/(a+bx)

第

４

种曲线模型:y=1/(a+b*exp(-x))

第

５

种曲线模型:y=1/(a+bx*x)第

６

种曲线模型:y=1/(a+bx*x*x)

第

７

种曲线模型:y=a*exp(bx)第

８

种曲线模型:y=a*exp(bx*x)第

９

种曲线模型:y=a*b^(x*x*x)第10种曲线模型:y=(a+bx)/x

第一节常见的曲线回归第

11

种曲线模型:y=a+b*ln(x)第

12

种曲线模型:y=a+b*√x第

13

种曲线模型:y=x/(a+bx)

第

14

种曲线模型:y=a*(x^b)

第

15

种曲线模型:y=a*(b^√x)第

16

种曲线模型:y=1/(a+b*ln(x))第

17

种曲线模型:y=1/(a+b*√x)第

18

种曲线模型:y=a*exp(b/x)第

19

种曲线模型:y=L+K/(1+a*exp(bx))第

20

种曲线模型:y=b0+b1*x+b2*x*x第一节常见的曲线回归实例1：曲线的拟合序号天数x枝稍生长量y12345670510152025302.13.76.412.218.126.334.5合计105103.3

散点图：采用指数曲线模型：实例1：曲线回归实例2：对数曲线的拟合xyxy51015202530354082.065.052.044.036.030.025.021.0455055606570758017.014.011.09.07.56.05.04.0用光电比色计测定溶液中叶绿素浓度（x，mg/L）和透光度（y）的关系，试拟合曲线模型。

散点图：采用对数曲线模型：实例2：曲线回归第二节曲线回归1.非线性回归模型第二节曲线回归y=F(x1,x2,x3…xm；β)+ε其中：F为数学函数关系表达式

β=(β1,β2,…,βm)’为回归系数

ε

为随机误差将观测值带入非线性回归模型简记为：第二节曲线回归Y=F(β)+E其中：Y=(y1,y2,…,yn)’为y的观察值向量

β=(β1,β2,…,βm)’为回归系数

E=(ε1,ε2,…,εn)’为随机误差向量用最小二乘法估计回归系数β，使残差平方和：达到最小值，即可得到正规方程组。 但非线性正规方程组一般不能用代数变换方法来求解回归系数，一般采用数值迭代法来进行。第二节曲线回归2.回归系数的计算回归系数的数值迭代法计算步骤第二节曲线回归1.选定回归系数β的初始值β02.选择适当的搜索方向向量Δ和步长t3.计算新回归系数

β=β0+t·Δ

使得Qe(β)<Qe

(β0)4.重复上述2-3步的过程，直至Qe(β)达到最小值为止1974年，Bard给出了使Qe(β)下降的充要条件：第二节曲线回归得到迭代公式

β=β0+t·Δ=β0+tPG‘(Y-F(β))其中：P

为任意正定矩阵

G

为F函数的梯度

t

满足Qe(β)<Qe

(β0)的正实数

Δ

=PG‘(Y-F(β))3.常用计算迭代方向的方法第二节曲线回归1）Gauss高斯-牛顿法（缺省方法）

（一阶偏导数）2）Newton牛顿法（一、二阶偏导数）3）Marquardt麦夸特法（一阶偏导数）4）Gradient梯度法（最速下降法）

（一阶偏导数）5）Dud正割法（无需偏导数）第三节多项式回归1.多项式回归模型第三节多项式回归在数学上，一般函数都可以用多项式来逼近，当两个变量间的关系复杂难于确定时，可以使用多项式回归来拟合。y=b0+b1x1+b2x2+…+bkxk+ε

k次多项式回归模型：2.回归次数的初步确定拟合多项式回归的两个变量有n对观察值时，最多可以配到k=n-1次多项式。根据散点图所表现的曲线趋势，回归模型的次数为：

k=波峰数+波谷数+1

若波动较大或峰谷两侧严重不对称，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三节多项式回归3.回归系数的计算第三节多项式回归对于n对观测数据，令则模型可以表示为：Y=XB+E最小二乘法解得：B=(X’X)-1X’Y4.回归关系的假设检验第三节多项式回归变量y的总平方和(SSy)分解为回归平方和(U)和误差平方和(Q)回归项自由度为：k（自变量次数）误差项自由度为：n-k-1检验统计量F：5.回归系数的假设检验第三节多项式回归对于x任意i次项分量回归系数的检验1.t检验

H0

：βi＝0统计量t：其中：自由度：n-k-1，Q

为误差平方和C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素5.回归系数的假设检验第三节多项式回归2.F检验

H0

：βi＝0其中：Ui

为xi对y的回归平方和，Q

为误差平方和C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素