(5.2.11)-3.6 回归分析2-非线性回归

（PPT2）同学，你好，今天我们继续讨论数据建模中的统计模型——回归分析。上一节我们介绍了回归分析的基本概念与一元线性回归，这节我们将介绍多元线性回归和非线性回归。（PPT3）先来看多元线性回归。本部分由多元线性回归模型、回归系数估计、回归方程的显著性检验、回归系数的显著性检验四部分构成。（PPT4）（动画1）设y是一个可观测的随机变量，它受到m个非随机变量因素x_1,x_2,...,x_m和随机误差epsilon的影响。若y与x_1,x_2,...,x_m有如下线性关系：y=beta_0+beta_1*x_1+...+beta_m*x_m+epsilon其中，beta_0,beta_1,beta_m是固定的未知参数，称为回归系数，epsilon是均值为0，方差为sigma^2的随机变量，称该模型为多元线性回归模型。（动画2）对于总体（x_1,x_2,...,x_m;y）的n组观测值(x_i1,x_i2,...,x_im;y_i)(i=1,2,...,n)，模型的矩阵形式表示为：Y=X*beta+epsilon（动画3）其中：y=[y_1,y_2,...y_n]为观测值向量，X的第1列为1，第2列为总体x_1的n组观测值（x_11,x_21,...,x_n1），依次，第m+1列为x_m的n组观测值（x_1m,x_2m,...,x_nm），称之为回归设计矩阵，beta=（beta_0,beta_1,beta_m）称为待估计向量，epsilon为不可观测的n维随机向量，它的分量相互独立，与总体同分布。（PPT5）下面我们介绍回归系数估计——最小二乘法（动画1）与一元线性回归讨论类似，beta_hat是使得残差平方和最小的beta的最小二乘估计，即S(beta_hat)=minS(beta)（动画2）beta的最小方差线性无偏估计为beta_hat=(X’X)的逆乘以X’Y，记为L的逆乘以X’Y（动画3）Y对于X的多元回归方程为：Y_hat=Xbeta_hat（PPT6）接下来介绍回归方程显著性检验（动画1）检验因变量与所有的自变量和之间是否存在一个显著的线性关系，也被称为总体的显著性检验。（动画2）平方和ST依然分解为回归平方和SR+残差平方和SE（动画3）现提出假设，H0:beta0=beta1=...=beta_m=0H1：beta0,beta1,beta_m不全为0（动画4）当H0为真时，则表示y不受x的影响，说明模型不成立；当H1真时，则x与y之间有一定的线性关系，说明模型可以成立。（PPT7）（动画1）多元线性回归模型的显著性检验用F统计量或校正的判定系数Ra的平方。（动画2）H0成立时，F统计量为：F=SR比m除以SE比（n-m-1）服从第一自由度为m，第二自由度为n-m-1的F分布。（动画3）对于给定的显著性水平alpha，找出分子自由度为m,分母自由度为n-m-1的F分布的临界值F_alpha，根据F的计算值与临界值的大小比较可以判定回归方程是否显著。（PPT8）（动画1）判定系数检验（动画2）校正的判定系数等于复相关系数R的平方-m(1-R的平方)比（n-m-1）。（动画3）其中，R=根号下SR/ST（PPT9）下面介绍回归系数的显著性检验（动画1）回归系数的检验就是用来确定每一个单个的自变量xi对因变量y的影响是否显著。（动画2）需要对每一个自变量都要单独进行检验。（动画3）采用t检验。（动画4）在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验（PPT10）思路及步骤（动画1）假设H0:beta_i=0,H1:beta_i不等于0（动画2）检验统计量t_i=beta_i_hat除以根号下c_ii*SR比（n-m-1）服从自由度为(n-m-1)的t分布（动画3）计算给定显著性水平下的t分布临界值，根据t_i与临界值的大小确定回归系数是否显著。（PPT11）最后，我们简要介绍第四部分——非线性回归（PPT12）（动画1）非线性回归的特点是因变量y与x之间不是线性关系（动画2）思想方法：可通过变量代换转换成线性关系（动画3）注意要点：并非所有的非线性模型都可以化为线性模型（动画4）几种常见的非线性模型及其变换：双曲线方程；幂函数方程；指数曲线方程；对数曲线方程；S型曲线方程具体形式如下：（PPT13）第1种，双曲线方程：（动画1）基本形式为：1/y=a+b/x（动画2）线性化变化公式为X=1/x,Y=1/y（动画3）图形具有如下特征（PPT14）第2种，幂函数方程（动画1）基本形式为：y=a*x的b次方（动画2）线性化变化公式为X=lnx,Y=lny（动画3）图形具有如下特征（PPT15）第3种，指数曲线方程（动画1）基本形式为：y=a*e的x分之b次方（动画2）线性化变化公式为X=1/x,Y=lny（动画3，动画4）图形单调递减（动画5）或基本形式为y=a*e的bx次方（动画6）线性化变化公式为X=x,Y=lny（动画7）图形单调递增（PPT16）第4种，对数曲线方程（动画1）基本形式为：y=a+b*lnx（动画2）线性化变化公式为X=lnx,Y=y（动画3）图像如下：（动画4）（PPT17）第5种，S型曲线方程（动画1）基本形式为：y=1除以a+b*e的负x次方（动画2）线性化变化公式为X=e的负x次方,Y=1/y（动画3，4）图像特征如下（PPT18）最后介绍一个非线性回归的例子（动画1）下面是某公司在六年里获得的利润.（单位：万元），根据这些数据研究利润与年份的回归关系：（动画2）先作一个散点图（动画3）将数对（1,112），（2,149），…，（6,867）标在平面上，观察这些点的位置，发现用指数曲线y=abx来描述x与y之间的关系是比较合适的.（PPT19）（动画1）按上面所述，作变换：X=x,Y=lny（动画2）变换后的线性方程为：Y=lna+lnb*X（动画3）记alpha=lna,beta=lnb,则方程变为：Y=alpha+beta*X（PPT20）（动画1）把原变量观测值转化为新变量观测值，相关计算见下表（动画2）写出回归设计矩阵，（动画3）L矩阵，（动画4）以及Y向量（PPT21）（动画1）利用一元线性回归的最小二乘估计得alpha=4.2580,beta=0.4073（动画2）新变量的回归方程为:Y=4.2580+0.4073X（动画3）再利用Y=lny,X=x，得到lny=4.2580+0.4073x（动画4）化简可得原变量间的非线性回归方程为y=77.67*(1.502)的x次方。（PPT22）最后我们来看一下模型拓展。（PPT23）（动画1）如要研究产品质量和用户满意度之间的因果关