SAS 统计软件课件第六章 非线性回归

1、第六章 非线性回归 1.1.曲线回归曲线回归2.2.多项式回归多项式回归第六章 非线性回归 非线性回归的类型非线性回归的类型1、曲线回归、曲线回归 包括指数函数曲线、对数函数曲线、幂包括指数函数曲线、对数函数曲线、幂函数曲线、函数曲线、S型函数曲线和双曲线函数等比型函数曲线和双曲线函数等比较简单的曲线回归模型。较简单的曲线回归模型。 函数表达式比较复杂的曲线回归模型。函数表达式比较复杂的曲线回归模型。第六章 非线性回归 非线性回归的类型非线性回归的类型2、多项式回归、多项式回归 一元多项式回归一元多项式回归（一个自变量，有一次项、二（一个自变量，有一次项、二 次项次项高次项等，图形是曲线。）高

2、次项等，图形是曲线。） 多元多项式回归多元多项式回归（两个或多个自变量，各有一（两个或多个自变量，各有一次项、二次项次项、二次项高次项和交叉乘积项等，图形是曲面。）高次项和交叉乘积项等，图形是曲面。） 反应面回归反应面回归（多个自变量、一次或二次多项式回（多个自变量、一次或二次多项式回归，图形是曲面。）归，图形是曲面。）第一节 常见曲线回归形式一、第一节 常见的曲线回归二、第一节 常见的曲线回归三、第一节 常见的曲线回归四、S形曲线（Logistic曲线）1. 基本形式bxaeky12. 图形第一节 常见的曲线回归k五、第一节 常见的曲线回归常见的曲线模型常见的曲线模型：第第 种曲线模型种曲线

3、模型: y=a+bx*x. 第第 种曲线模型种曲线模型: y=a+bx*x*x. 第第 种曲线模型种曲线模型: y=1/(a+bx) 第第 种曲线模型种曲线模型: y=1/(a+b*exp(-x) 第第 种曲线模型种曲线模型: y=1/(a+bx*x)第第 种曲线模型种曲线模型: y=1/(a+bx*x*x) 第第 种曲线模型种曲线模型: y=a*exp(bx)第第 种曲线模型种曲线模型: y=a*exp(bx*x)第第 种曲线模型种曲线模型: y=a*b(x*x*x)第第 10 10 种曲线模型种曲线模型: :y=(a+bx)/x 第一节 常见的曲线回归第第 1111 种曲线模型种曲线模型:

4、 y=a+b*ln(x)第第 1212 种曲线模型种曲线模型: y=a+b*x第第 1313 种曲线模型种曲线模型: y=x/(a+bx) 第第 1414 种曲线模型种曲线模型: y=a*(xb) 第第 1515 种曲线模型种曲线模型: y=a*(bx) 第第 1616 种曲线模型种曲线模型: y=1/(a+b*ln(x)第第 1717 种曲线模型种曲线模型: y=1/(a+b*x)第第 1818 种曲线模型种曲线模型: y=a*exp(b/x)第第 1919 种曲线模型种曲线模型: y=L+K/(1+a*exp(bx)第第 2020 种曲线模型种曲线模型: :y=b0+b1*x+b2*x*x

5、第一节 常见的曲线回归实例1：曲线的拟合序号序号天数天数 x枝稍生长量枝稍生长量 y12345670510152025302.13.76.412.218.126.334.5合计合计105103.3散点图：采用指数曲线模型：bxaey 实例1：曲线回归实例2：对数曲线的拟合xyxy51015202530354082.065.052.044.036.030.025.021.0455055606570758017.014.011.09.07.56.05.04.0用光电比色计测定溶液中叶绿素浓度（用光电比色计测定溶液中叶绿素浓度（x，mg/Lmg/L）和透光度（和透光度（y）的关系，试拟合曲线模型。）

6、的关系，试拟合曲线模型。散点图：采用对数曲线模型：xbayln实例2：曲线回归第二节 曲线回归1.非线性回归模型第二节 曲线回归y=F(x1,x2,x3xm；)+其中：F为数学函数关系表达式 =(1,2,m) 为回归系数 为随机误差将观测值带入非线性回归模型简记为：第二节 曲线回归Y=F()+E其中：Y=(y1,y2,yn)为y的观察值向量 =(1,2,m)为回归系数 E=(1,2,n)为随机误差向量用最小二乘法估计回归系数，使残差平方和：达到最小值，即可得到正规方程组。 但非线性正规方程组一般不能用代数变换方法来求解回归系数，一般采用数值迭代法来进行。11( )( )( )22eQE EYF

7、YF第二节 曲线回归2.回归系数的计算回归系数的数值迭代法计算步骤第二节 曲线回归1.选定回归系数的初始值02.选择适当的搜索方向向量和步长t3.计算新回归系数 = 0 + t 使得 Qe() Qe(0)4.重复上述2-3步的过程，直至Qe() 达到最小值为止 1974年，Bard给出了使Qe()下降的充要条件：第二节 曲线回归得到迭代公式 = 0 + t = 0 + tPG(Y-F()其中：P 为任意正定矩阵 G 为F 函数的梯度 t 满足Qe()Qe(0)的正实数 = PG(Y-F()3.常用计算迭代方向的方法第二节 曲线回归1）Gauss 高斯-牛顿法（缺省方法） （一阶偏导数）2）Ne

8、wton 牛顿法（一、二阶偏导数）3）Marquardt 麦夸特法（一阶偏导数）4）Gradient 梯度法（最速下降法） （一阶偏导数）5）Dud 正割法（无需偏导数）第三节 多项式回归1.多项式回归模型第三节 多项式回归 在数学上，一般函数都可以用多项式来逼近，当两个变量间的关系复杂难于确定时，可以使用多项式回归来拟合。y=b0+b1x1+b2x2+bkxk+ k次多项式回归模型：2. 回归次数的初步确定 拟合多项式回归的两个变量有n对观察值时，最多可以配到k=n-1次多项式。 根据散点图所表现的曲线趋势，回归模型的次数为： k= 波峰数 + 波谷数 + 1 若波动较大或峰谷两侧严重不对称

9、，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三节 多项式回归3. 回归系数的计算第三节 多项式回归对于n对观测数据，令则模型可以表示为：Y=XB+E最小二乘法解得：B=(XX) -1XY21112222233321111kkkknnnxxxxxxXxxxxxxnyyyY21mbbbbB210n214. 回归关系的假设检验第三节 多项式回归 变量y的总平方和(SSy)分解为回归平方和(U)和误差平方和(Q)回归项自由度为：k（自变量次数）误差项自由度为：n-k-1QUSSy检验统计量F：) 1(knQkUF5. 回归系数的假设检验第三节 多项式回归对于x任意i次项分

10、量回归系数的检验ibiSbt 1.t1.t检验检验 H H0 0 ：i0 0 统计量统计量t t ：其中：其中： 自由度：自由度：n-k-1，Q Q 为误差平方和为误差平方和 C C(i+1)(i+1)为矩阵为矩阵(XX)(XX)-1-1的的( (i+1)(+1)(i+1)+1)元素元素(1)(1)ibyiiSSc1ySQ nm5. 回归系数的假设检验第三节 多项式回归1/1/) 1)(1(2knQcbknQUFiiii2.F2.F检验检验 H H0 0 ：i0 0其中：其中：U Ui 为为x xi对对y y的回归平方和，的回归平方和，Q Q 为误差平方和为误差平方和 C C(i+1)(i+1)为矩阵为矩阵(XX)(XX)-1-1的的(i+1)(