SAS统计之第六章 非线性回归

第六章

非线性回归

可以转化为直线的曲线回归不可转化为直线的曲线回归多项式回归第六章

非线性回归

非线性回归的三种类型1、可转化为直线回归的曲线回归

包括指数函数曲线、对数函数曲线、幂函数曲线、S型函数曲线和双曲线函数等回归模型，可以通过数学变换方法转化为直线回归问题来解决。2、不可转化为直线回归的曲线回归

函数表达式比较复杂很难或不能转化为直线回归模型的曲线回归模型。第六章

非线性回归

非线性回归的三种类型3、多项式回归一元多项式回归（一个自变量，有一次项、二次项…高次项等，图形是曲线。）多元多项式回归（两个或多个自变量，各有一次项、二次项…高次项和交叉乘积项等，图形是曲面。）

反应面回归（多个自变量、一次或二次多项式回归，图形是曲面。）第一节可以转化为直线

的曲线回归一、第一节可转化为直线的曲线回归二、第一节可转化为直线的曲线回归三、第一节可转化为直线的曲线回归四、S形曲线（Logistic曲线）1.基本形式2.图形第一节可转化为直线的曲线回归k令得：3.线性化方法整理后，取自然对数得：第一节可转化为直线的曲线回归将三对观察值带入下式，可解得：k值的计算（1）k若是累积百分数，则k=100%（2）否则取接近关系的三对观察值第一节可转化为直线的曲线回归五、第一节可转化为直线的曲线回归常用的可转化为直线的曲线模型：第

１

种曲线模型:y=a+bx*x.

第

２

种曲线模型:y=a+bx*x*x.第

３

种曲线模型:y=1/(a+bx)

第

４

种曲线模型:y=1/(a+b*exp(-x))

第

５

种曲线模型:y=1/(a+bx*x)第

６

种曲线模型:y=1/(a+bx*x*x)

第

７

种曲线模型:y=a*exp(bx)第

８

种曲线模型:y=a*exp(bx*x)第

９

种曲线模型:y=a*b^(x*x*x)第10种曲线模型:y=(a+bx)/x

第一节可转化为直线的曲线回归第

11

种曲线模型:y=a+b*ln(x)第

12

种曲线模型:y=a+b*√x第

13

种曲线模型:y=x/(a+bx)

第

14

种曲线模型:y=a*(x^b)

第

15

种曲线模型:y=a*(b^√x)第

16

种曲线模型:y=1/(a+b*ln(x))第

17

种曲线模型:y=1/(a+b*√x)第

18

种曲线模型:y=a*exp(b/x)第

19

种曲线模型:y=L+K/(1+a*exp(bx))第

20

种曲线模型:y=b0+b1*x+b2*x*x第

21

种曲线模型:y=b0+b1*x+b2*x*x+b3*x*x*x第一节可转化为直线的曲线回归实例1：指数曲线的拟合序号天数x枝稍生长量y12345670510152025302.13.76.412.218.126.334.50.7421.3081.8562.5012.8963.2703.541合计105103.316.114

散点图：采用指数曲线模型：实例1：曲线回归

曲线模型直线化实例1：曲线回归令：则：实例1：曲线回归实例1：曲线回归

实例1：曲线回归

得指数曲线模型：实例1：曲线回归决定系数：x和y’回归关系达极显著。回归系数b检验：实例2：对数曲线的拟合xlnxyxlnxy5101520253035401.6092.3032.7082.9963.2193.4013.5553.68982.065.052.044.036.030.025.021.045505560657075803.8073.9124.0074.0944.1744.2484.3174.38217.014.011.09.07.56.05.04.0用光电比色计测定溶液中叶绿素浓度（x，mg/L）和透光度（y）的关系，试拟合曲线模型。

散点图：采用对数曲线模型：实例2：曲线回归实例2：曲线回归对数曲线模型直线化令：化为：则：实例2：曲线回归计算：实例2：曲线回归

得线性回归模型：决定系数：y和x’线性回归关系达极显著回归系数b的显著性检验：对数回归方程：实例2：曲线回归第二节不可转化为直线

的曲线回归1.非线性回归模型第二节不可转化为直线的曲线回归y=F(x1,x2,x3…xm；β)+ε其中：F为数学函数关系表达式

β=(β1,β2,…,βm)’为回归系数

ε

为随机误差将观测值带入非线性回归模型简记为：第二节不可转化为直线的曲线回归Y=F(β)+E其中：Y=(y1,y2,…,yn)’为y的观察值向量

β=(β1,β2,…,βm)’为回归系数

E=(ε1,ε2,…,εn)’为随机误差向量用最小二乘法估计回归系数β，使残差平方和：达到最小值。非线性回归系数的计算一般采用数值迭代法来进行。第二节不可转化为直线的曲线回归2.回归系数的计算回归系数的数值迭代法计算步骤第二节不可转化为直线的曲线回归1.选定回归系数β的初始值β02.选择适当的搜索方向向量Δ和步长t3.计算新回归系数

β=β0+t·Δ

使得Qe(β)<Qe

(β0)4.重复上述2-3步的过程，直至Qe(β)达到最小值为止1974年，Bard给出了使Qe(β)下降的充要条件：第二节不可转化为直线的曲线回归得到迭代公式

β=β0+t·Δ=β0+tPG‘(Y-F(β))其中：P

为任意正定矩阵

G

为F函数的梯度

t

满足Qe(β)<Qe

(β0)的正实数

Δ

=PG‘(Y-F(β))3.常用计算迭代方向的方法第二节不可转化为直线的曲线回归1）Gauss高斯-牛顿法（缺省方法）

（一阶偏导数）2）Newton牛顿法（一、二阶偏导数）3）Marquardt麦夸特法（一阶偏导数）4）Gradient梯度法（最速下降法）

（一阶偏导数）5）Dud正割法（无需偏导数）第三节多项式回归1.多项式回归模型第三节多项式回归在数学上，一般函数都可以用多项式来逼近，当两个变量间的关系复杂难于确定时，可以使用多项式回归来拟合。y=b0+b1x1+b2x2+…+bkxk+ε

k次多项式回归模型：2.回归次数的初步确定拟合多项式回归的两个变量有n对观察值时，最多可以配到k=n-1次多项式。根据散点图所表现的曲线趋势，回归模型的次数为：

k=波峰数+波谷数+1

若波动较大或峰谷两侧严重不对称，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三节多项式回归3.回归系数的计算第三节多项式回归对于n对观测数据，令则模型可以表示为：Y=XB+E最小二乘法解得：B=(X’X)-1X’Y4.回归关系的假设检验第三节多项式回归变量y的总平方和(SSy)分解为回归平方和(U)和误差平方和(Q)回归项自由度为：k（自变量次数）误差项自由度为：n-k-1检验统计量F：5.回归系数的假设检验第三节多项式回归对于x任意i次项分量回归系数的检验1.t检验

H0

：βi＝0统计量t：其中：自由度：n-k-1，Q

为误差平方和C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素5.回归系数的假设检验第三节多项式回归2.F检验

H0

：βi＝0其中：Ui

为xi对y的回归平方和，Q

为误差平方和C(i+1)(i