第4章回归分析ppt课件

1、第第4 4章章 实验数据的回归分析实验数据的回归分析4.1 根本概念根本概念 1 相互关系相互关系 确定性关系确定性关系 ：变量之间存在着严厉的函数关系变量之间存在着严厉的函数关系相关关系相关关系 ：变量之间近似存在某种函数关系变量之间近似存在某种函数关系2 回归分析回归分析regression analysis 处置变量之间相关关系的统计方法处置变量之间相关关系的统计方法确定回归方程：变量之间近似的函数关系式确定回归方程：变量之间近似的函数关系式检验回归方程的显著性检验回归方程的显著性 实验结果预测实验结果预测4.2 一元线性回归分析一元线性回归分析 4.2.1 一元线性回归方程的建立一元线

2、性回归方程的建立 1最小二乘原理最小二乘原理设有一组实验数据设有一组实验数据 如表，假设如表，假设x，y符合线性关符合线性关系系 xx1x2xnyy1y2yn 计算值计算值 与实验值与实验值yi不一定相等不一定相等 与与yi之间的偏向称为残差：之间的偏向称为残差：a，b回归系数回归系数regressioncoefficientiyiyiyiiieyy回归值回归值/拟合值，由拟合值，由xi代入回归方程计算出的代入回归方程计算出的y值。值。iiyabxn 一元线性回归方程一元线性回归方程 ：n残差平方和残差平方和 ：112()02()0niiiniiiiQyabxaQyabx xb n残差平方和最

3、小时，回归方程与实验值的拟合程度最好残差平方和最小时，回归方程与实验值的拟合程度最好求残差平方和极小值：求残差平方和极小值：222111()()nnneiiiiiiiiSSQeyyyabxn正规方程组正规方程组normal equation ：112111nniiiinnniiiiiiinabxyaxbxx y11112222111()()()( )nnnniiiiiiiiiinnniiiiiinx yxyx ynxybnxxxn xaybxn 解正规方程组：解正规方程组：n简算法：简算法：22211()( )nnxxiiiiLxxxn x11()()nnxyiiiiiiLxxyyx ynxy

4、xyxxLbLaybx4.2.2 一元线性回归效果的检验一元线性回归效果的检验 1相关系数检验法相关系数检验法 相关系数相关系数correlation coefficient ：描画变量描画变量x与与y的线性相关程度的线性相关程度定义式：定义式： xyxxyyLrLL相关系数特点：相关系数特点：n1r1nr1：x与与y有准确的线性关系有准确的线性关系r=1xyr1xynr0：x与与y负线性相关负线性相关negativelinearcorrelationnr0：x与与y正线性相关正线性相关positivelinearcorrelation0r1xy1r0 xynr0时时，x与与y没有线性关系没有

5、线性关系，但能够存在其它类型关系，但能够存在其它类型关系n相关系数相关系数r越接近越接近1，x与与y的线性相关程度越高的线性相关程度越高n实验次数越少实验次数越少，r越接近越接近1r0 xyr0 xyn当当 ，阐明，阐明x与与y之间存在显著的线性关系之间存在显著的线性关系 n对于给定的显著性程度对于给定的显著性程度，查相关系数临界值查相关系数临界值rmin相关系数检验相关系数检验 minrr2F检验检验 离差平方和离差平方和 总离差平方和：总离差平方和：21()nTiyyiSSyyL221()nRxxxyiiSSyyb LbL21()neiiiSSyyTReSSSSSSn 回归平方和回归平方和

6、regression sum of square ：n 残差平方和残差平方和 ：n 三者关系：三者关系：自在度自在度 nSST的自在度的自在度：dfTn1nSSR的自在度的自在度：dfR1nSSe的自在度的自在度：dfen2n三者关系：三者关系：dfTdfRdfen均方均方RRRSSMSdfeeeSSMSdfF检验检验 nF服从自在度为服从自在度为1，n2的的F分布分布n给定的显著性程度给定的显著性程度下下 ，查得临界值：，查得临界值： F1，n2) n假设假设F F1，n2) ，那么以为，那么以为x与与y有明显的线性关系，有明显的线性关系，所建立的线形回归方程有意义所建立的线形回归方程有意义

7、ReMSFMS方差分析表方差分析表 4.3 多元线性回归分析多元线性回归分析1多元线性回归方式多元线性回归方式实验目的因变量实验目的因变量y与与m个实验要素自变量个实验要素自变量 xjj=1,2,m多元线性回归方程：多元线性回归方程：12mbbb，.，mmxbxbxbay.22114.3.1 多元线性回归方程的建立多元线性回归方程的建立 n 偏回归系数：偏回归系数：2回归系数确实定回归系数确实定n根据最小二乘法原理根据最小二乘法原理 ：求偏向平方和最小时的回归系数：求偏向平方和最小时的回归系数n偏向平方和：偏向平方和：221 12211()(.)nniimmiiiQyyyab xb xb x0

8、jQb0Qan 根据：根据： 得到正规方程组，正规方程组的解即为回归系数。4.3.2 多元线性回归方程显著性检验多元线性回归方程显著性检验 1 F检验法检验法 总平方和：总平方和： 22211()nnTyyiiiiSSLyyyny21 1221().nRyymmyiiSSyybLb Lb L21()neiTRiiSSyySSSSn 回归平方和：回归平方和：n 残差平方和：残差平方和：nF服从自在度为服从自在度为m，nm1的分布的分布 n给定的显著性程度给定的显著性程度下下 ，假设，假设FF(m，nm1 )，那，那么么y与与x1，x2，xm间有显著的线性关系间有显著的线性关系 n 方差分析表：方

9、差分析表： 2相关系数检验法相关系数检验法 n复相关系数复相关系数multiple correlation coefficientR ：n 反映了一个变量反映了一个变量y与多个变量与多个变量 x1，x2，xm 之之间线性相关程度间线性相关程度 n计算式计算式 ：R1时，时，y与变量与变量x1，x2，xm之间存在严厉的线性关之间存在严厉的线性关系系R0时，时，y与变量与变量x1，x2，xm之间不存在线性相关关系之间不存在线性相关关系当当0R1时，变量之间存在一定程度的线性相关关系时，变量之间存在一定程度的线性相关关系RRmin时时，y与与x1，x2，xm之间存在亲密的线性关之间存在亲密的线性关系

10、系21eRTTSSSSRSSSS n R普通取正值普通取正值 ，0R1 4.3.3 要素主次的判别要素主次的判别 1偏回归系数的规范化偏回归系数的规范化 设偏回归系数设偏回归系数bj的规范化回归系数为的规范化回归系数为Pj：jjjjyyLPbLnPj越大，那么对应的要素越大，那么对应的要素xj越重要越重要2 偏回归系数的显著性检验偏回归系数的显著性检验 n计算每个偏回归系数的偏回归平方和计算每个偏回归系数的偏回归平方和SSj ：n SSjbjLjy nSSj的大小表示了要素的大小表示了要素xj对实验目的对实验目的y影响程度，对应的自影响程度，对应的自在度在度dfj1n n jjjeeMSSSF

11、MSMS服从自在度为服从自在度为1，nm1的的F分布分布 n假设假设假设假设F F(1，nm1 )， ，那么阐明，那么阐明xj对对y的影响的影响是不显著的，这时可将它从回归方程中去掉，变成是不显著的，这时可将它从回归方程中去掉，变成m1元线性方程元线性方程 3偏回归系数的偏回归系数的t检验检验 n 计算偏回归系数计算偏回归系数 jb的规范差：的规范差： jebjjSSsLn t值的计算值的计算 ：2jjjjjjjjjbeeejjbbb LSStFsMSMSMSL单侧单侧t分布表分布表 n 检验：检验： 2(1,1)tnm假设假设 2(1,1)jttnm阐明阐明xj对对y的影响显著，否那么影响不

12、显著，的影响显著，否那么影响不显著， 4.4.1 一元非线性回归分析一元非线性回归分析 n经过线性变换，将其转化为一元线性回归问题经过线性变换，将其转化为一元线性回归问题 ：n直角坐标中画出散点图；直角坐标中画出散点图；n推测推测y与与x之间的函数关系；之间的函数关系；n线性变换；线性变换；n用线性回归方法求出线性回归方程；用线性回归方法求出线性回归方程；n前往到原来的函数关系，得到要求的回归方程前往到原来的函数关系，得到要求的回归方程 4.4 非线性回归分析非线性回归分析4.4.2 一元多项式回归一元多项式回归 n任何复杂的一元延续函数都可用高阶多项式近似表达任何复杂的一元延续函数都可用高阶多项式近似表达 ：212.mmyab xb xb x1122.mmyab Xb Xb Xn 可以转化为多元线性方程：可以转化为多元线性方程：4.4.3 多元非线性回归多元非线性回归 n假设实验目的假设实验目的y与多个实验要素与多个实验要素xj之间存在非线性关系，之间存在非线性关系，如二次回归模型如二次回归模型 ：211mmjjjjjjkj