第六章回归分析

1、合肥工业大学误差理论与数据处理第六章第六章 回回归归分析分析合肥工业大学误差理论与数据处理 本章主要阐述回归分析的基本概念，并本章主要阐述回归分析的基本概念，并重点介绍一元线性回归和非线性回归的基本重点介绍一元线性回归和非线性回归的基本方法，给出回归方程的方差分析和显著性检方法，给出回归方程的方差分析和显著性检验。从而使学生掌握回归分析方法的基本原验。从而使学生掌握回归分析方法的基本原理，学会从实际测量中寻求两个变量和多个理，学会从实际测量中寻求两个变量和多个变量之间的内在关系。变量之间的内在关系。教学目教学目标标合肥工业大学误差理论与数据处理n 回归分析的基本概念和主要内容回归分析的基本概念

2、和主要内容n 一元线性回归方程的求法一元线性回归方程的求法n 回归方程的方差分析和显著性检验回归方程的方差分析和显著性检验n 一元非线性回归方法一元非线性回归方法n 多元线性回归多元线性回归重点与重点与难难点点合肥工业大学误差理论与数据处理第一节回归分析的基本概念一、函数与相关一、函数与相关函数关系函数关系：可以用明确的函数关系式精确地表示：可以用明确的函数关系式精确地表示 出来出来相关关系相关关系：这些变量之间既存在着密切的关系，：这些变量之间既存在着密切的关系， 又不能由一个（或几个）自变量的数又不能由一个（或几个）自变量的数 值精确地求出另一个因变量的数值，值精确地求出另一个因变量的数值

3、， 而是要通过试验和调查研究，才能确而是要通过试验和调查研究，才能确 定它们之间的关系。定它们之间的关系。 合肥工业大学误差理论与数据处理第一节回归分析的基本概念二、回归分析思路二、回归分析思路1、由数据确定变量之间的数学表达式回归方程或经、由数据确定变量之间的数学表达式回归方程或经 验公式；验公式；2、 对回归方程的可信度进行统计检验；对回归方程的可信度进行统计检验；3、 因素分析。因素分析。合肥工业大学误差理论与数据处理第二节一元线性回归一元线性回归：一元线性回归：确定两个变量之间的线性关系，即确定两个变量之间的线性关系，即 直线拟合问题直线拟合问题。一、回归方程的确定一、回归方程的确定例

4、：确定某段导线的电阻与温度之间的关系：例：确定某段导线的电阻与温度之间的关系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散点图：散点图：2025 303540 45507678828084Cxo/y合肥工业大学误差理论与数据处理第二节一元线性回归从散点图可以看出：从散点图可以看出：电阻与温度大致成线性关系。电阻与温度大致成线性关系。设测量数据有如下结构形式：设测量数据有如下结构形式：Ntxyttt, 2 , 1,0式中，式中， 分别表示其它随机因素对电阻值分别表示其它随机因素对电阻值 影响的总和。影响的总和。N

5、,21Nyyy,21思路：思路：要求电阻要求电阻y与与x的关系，即根据测量数据要求出的关系，即根据测量数据要求出0和和 的估计值。根据测量数据，可以得到的估计值。根据测量数据，可以得到7个测量方程，结合前面所学，未知数有两个，个测量方程，结合前面所学，未知数有两个，而方程个数大于未知数的个数，适合于用最小而方程个数大于未知数的个数，适合于用最小二乘法求解。二乘法求解。合肥工业大学误差理论与数据处理第二节一元线性回归设得到的回归方程设得到的回归方程bxby0残差方程为残差方程为Ntbxbyyyvttti, 2 , 1,0根据最小二乘原理可求得回归系数根据最小二乘原理可求得回归系数b0和和b。对照

6、第五章最小二乘法的矩阵形式，令对照第五章最小二乘法的矩阵形式，令NNNvvvVbbbxxxXyyyY2102121111合肥工业大学误差理论与数据处理第二节一元线性回归则误差方程的矩阵形式为则误差方程的矩阵形式为VbXY对照对照 ，设测得值，设测得值 的精度相等，则有的精度相等，则有XALVtyYXXXbTT1)(将测得值分别代入上式，可计算得将测得值分别代入上式，可计算得xxxyNttNttNttNttNtttllxxNyxyxNb2112111)()(xbyxxNyxxyxbNtNttttNttNttNttNtt1122111120)()()(合肥工业大学误差理论与数据处理第二节一元线性回

7、归其中其中211122111121121211)(1)()(1)( )()(1)(11NttNtNtttyyNttNttNttttNttxyNttNttNttxxNttNttyNyyylyxNyxyyxxlxNxxxlyNyxNx合肥工业大学误差理论与数据处理二、回归方程的方差分析及显著性检验二、回归方程的方差分析及显著性检验第二节一元线性回归问题：问题：这条回归直线是否符合这条回归直线是否符合y 与与x之间的客之间的客观规律？回归直线的预报精度如何？观规律？回归直线的预报精度如何？u对对N个观测值与其算术平均值之差的平方个观测值与其算术平均值之差的平方和进行分解；和进行分解；u从量值上区别对

8、个观测值的影响因素；从量值上区别对个观测值的影响因素；u用用F检验法对所求回归方程进行显著性检检验法对所求回归方程进行显著性检验。验。方差分析法方差分析法合肥工业大学误差理论与数据处理第二节一元线性回归（一）回归方程的方差分析（一）回归方程的方差分析1、引起变差的原因：、引起变差的原因： A、自变量、自变量x取值的不同；取值的不同； B、其它因素（包括试验误差）的影响。、其它因素（包括试验误差）的影响。2、方差分析、方差分析总的离差平方和（即总的离差平方和（即N个观测值之间的变差）个观测值之间的变差）NtyytlyyS12)(1 NS可以证明：可以证明：合肥工业大学误差理论与数据处理第二节一元

9、线性回归S=U+Q其中其中NtxytblyyU12)(xyyyNtttbllyyQ12)(1U2 NQU回归平方和回归平方和，反映总变差中由于，反映总变差中由于x和和y的线性关的线性关 系而引起系而引起 y变化的部分。变化的部分。Q Q残余平方和残余平方和，反映所有观测点到回归直线的残，反映所有观测点到回归直线的残 余误差，即其它因素对余误差，即其它因素对y y变差的影响。变差的影响。合肥工业大学误差理论与数据处理第二节一元线性回归（二）回归方程显著性检验（二）回归方程显著性检验 F检验法检验法基本思路：基本思路：方程是否显著取决于方程是否显著取决于U和和Q的大小，的大小， U越大，越大，Q越

10、小，说明越小，说明y与与x的线性关的线性关 系愈密切。系愈密切。计算统计量计算统计量FQUQUF/对一元线性回归，应为对一元线性回归，应为)2/(1/NQUF查查F分布表，根据给定的显著性水平分布表，根据给定的显著性水平 和已知的和已知的自由度自由度1和和N-2进行检验：进行检验：合肥工业大学误差理论与数据处理若若 回归在回归在0.01的水平上高度显著。的水平上高度显著。第二节一元线性回归),2, 1 (01. 0NFF),2, 1 ()2, 1 (01. 005. 0NFFNF回归在回归在0.05的水平上显著。的水平上显著。),2, 1 ()2, 1 (05. 010. 0NFFNF回归在回

11、归在0.1的水平上显著。的水平上显著。),2, 1 (10. 0NFF回归不显著。回归不显著。合肥工业大学误差理论与数据处理（三）残余方差与残余标准差（三）残余方差与残余标准差第二节一元线性回归残余方差：排除了残余方差：排除了x 对对y的线性影响后，衡量的线性影响后，衡量y 随机波动的特征量。随机波动的特征量。22NQ残余标准差：残余标准差：2NQ含义：含义： 越小，回归直线的精度越高。越小，回归直线的精度越高。合肥工业大学误差理论与数据处理第二节一元线性回归（四）方差分析表（四）方差分析表来源来源平方和平方和自由度自由度方差方差 F F显著性显著性回归回归残余残余 1 1 N-2 N-2 总

12、计总计 N-1 N-1 xyblU xyyybllQyylS 三、重复试验情况三、重复试验情况1、重复试验的意义、重复试验的意义“回归方程显著回归方程显著”：只表明因素：只表明因素x的一次项对的一次项对y的影响的影响显著；难以确定影响显著；难以确定影响y的是否还有其它不可忽略的的是否还有其它不可忽略的因素？因素？x和和y是否线性是否线性? 不表明该方程拟合得很好。不表明该方程拟合得很好。)2/(1/NQUF)2, 1 (NF合肥工业大学误差理论与数据处理 为检验一个回归方程拟合的好坏，可通过重为检验一个回归方程拟合的好坏，可通过重复试验，获得误差平方和复试验，获得误差平方和 和失拟平方和和失拟

13、平方和 ，然，然后用后用 对对 进行进行F检验。检验。第二节一元线性回归EQLQEQLQ2、重复试验回归直线的求法、重复试验回归直线的求法1）设）设N个试验点，每个试验点重复个试验点，每个试验点重复m次试验，则将次试验，则将 这这m次试验取平均值，然后再按照前面的方法进次试验取平均值，然后再按照前面的方法进 行拟合，见表行拟合，见表65和表和表66。2）方差分析）方差分析合肥工业大学误差理论与数据处理来源来源 平方和平方和 自由度自由度 方差方差 F F 显著性显著性回归回归失拟失拟误差误差总计总计 第二节一元线性回归xymblU UmlQyyLNtmittiEyyQ112)(LEQQUS1U

14、2 NL) 1(mNE1 NmSUU/LLQ/EEQ/EEUQUF/EELLQQF/1),(EUF),(ELF3）方差检验）方差检验EEUQUF/)/()(/2LELEUQQUF:判断一元回归方程拟合效果判断一元回归方程拟合效果:判断失拟平方和对试验误差的影响判断失拟平方和对试验误差的影响:综合判断一元回归方程拟合效果综合判断一元回归方程拟合效果EELLQQF/1合肥工业大学误差理论与数据处理第二节一元线性回归1）分组法平均值法）分组法平均值法 将自变量按由小到大次序排列，分成个数相等或近于相将自变量按由小到大次序排列，分成个数相等或近于相 等的两个组（分组数等于未知数个数），则可建立相应的两

15、等的两个组（分组数等于未知数个数），则可建立相应的两 组观测方程：组观测方程：kkbxbybxby0101NNkkbxbybxby0101将两组观测方程分别相加，得将两组观测方程分别相加，得NktNktttktktttxbbkNyxbkby110110)(b和和b02）图解法紧绳法）图解法紧绳法四、回归直线的简便求法四、回归直线的简便求法合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定回归方程的求法回归方程的求法戴明（戴明（Deming）解法）解法 若若 ， 分别具有误差分别具有误差 ， ， 假定假定 之间为线性关系，其数学模型为之间为线性关系，其数学模型为 所求回归

16、方程为所求回归方程为式中，式中， 分别为分别为 的估计值。的估计值。 为使为使 的误差在求回归方程式具有等价性，令的误差在求回归方程式具有等价性，令 ，则回归方程可写成，则回归方程可写成txty(0,)txN(0,)tyN1,2,tNxy、0()ttttyx0ybbx0 xybb、 、 、0 xy、 、xy、22/xy yy0 ybb x合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定式中，式中， ， 根据戴明推广的最小二乘原理，点根据戴明推广的最小二乘原理，点 到回归直线的到回归直线的垂直距离垂直距离 的平方和的平方和 为最小条件下所求得的回归系数为最小条件下所求得

17、的回归系数 是最佳估计值。是最佳估计值。 由解析几何可知，点由解析几何可知，点 到到回归直线的距离回归直线的距离 为为式中，式中， 0ybbx( ,)ttx ytdx y( ,)ttx y00bbbb( ,)ttx ytd1Nttd0bb、td02211ttttybb xddbb0tttdybbx合肥工业大学误差理论与数据处理第三节两个变量都具有误差时线性回归方程的确定 根据最小二乘原理，为使根据最小二乘原理，为使 为最小，即求解为最小，即求解得得 1Nttd101()0()0NttNttdbdb220()42yyxxyyxxyyyylllllblbybx合肥工业大学误差理论与数据处理变量变量

18、 的方差可用下式估计：的方差可用下式估计： 第三节两个变量都具有误差时线性回归方程的确定222122121NxttxydNbxy、合肥工业大学误差理论与数据处理第四节一元非线性回归2、求解未知参数。可化曲线回归为直线回归，、求解未知参数。可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式用最小二乘法求解；可化曲线回归为多项式回归。回归。1、确定函数类型并检验。、确定函数类型并检验。一、求解思路一、求解思路二、回归曲线函数类型的选取和检验二、回归曲线函数类型的选取和检验1、直接判断法、直接判断法2、作图观察法，与典型曲线比较，确定其属于何、作图观察法，与典型曲线比较，确定其属于何种类

19、型，然后检验。种类型，然后检验。合肥工业大学误差理论与数据处理第四节一元非线性回归3、直线检验法（适用于待求参数不多的情况）、直线检验法（适用于待求参数不多的情况）a、预选回归曲线、预选回归曲线b、c、求出几对与、求出几对与x,y相对应的相对应的Z1,Z2值值d、以、以Z1,Z2为坐标作图，若为直线，则说明原为坐标作图，若为直线，则说明原选定的曲线类型是合适的，否则重新考虑。选定的曲线类型是合适的，否则重新考虑。0),(bayxf0),(bayxf21BZAZ合肥工业大学误差理论与数据处理4、表差法（适用于多项式回归，含有常数项多于两、表差法（适用于多项式回归，含有常数项多于两个的情况）个的情

20、况）第四节一元非线性回归a、用试验数据画图；、用试验数据画图；b、确定定差、确定定差 ，列出，列出xi,yi各对应值；各对应值；c、根据、根据x,y的读出值作出差值的读出值作出差值 ，看其是否与确，看其是否与确 定方程式的标准相符，若一致，则说明原选定定方程式的标准相符，若一致，则说明原选定 的曲线类型是合适的。的曲线类型是合适的。xky三、化曲线回归为直线回归问题三、化曲线回归为直线回归问题 用直线检验法或表差法检验的曲线回归方程都用直线检验法或表差法检验的曲线回归方程都可以通过变量代换转为直线回归方程，利用线性回可以通过变量代换转为直线回归方程，利用线性回归分析方法可求得相应的参数估计值。

21、归分析方法可求得相应的参数估计值。合肥工业大学误差理论与数据处理第四节一元非线性回归回归曲线方程的效果与精度：回归曲线方程的效果与精度：NtttyyQ12)(2NQ残余平方和残余平方和残余标准差残余标准差相关指数相关指数NtttyyQR122)(1衡量回归曲线效果好坏衡量回归曲线效果好坏的指标的指标可以作为可以作为根据回归根据回归方程预报方程预报y值的精值的精度指标度指标合肥工业大学误差理论与数据处理第五节多元线性回归讨论多个变量之间试验结果的数学表示讨论多个变量之间试验结果的数学表示一、多元线性回归方程一、多元线性回归方程 假如因变量假如因变量 与与M个自变量个自变量 的内的内在联系是线性的

22、，通过试验得到在联系是线性的，通过试验得到N组观测数据：组观测数据： 那么这批数据的测量方程为：那么这批数据的测量方程为：式中，式中， 是是M1个待估计参数；个待估计参数； 是是N个相互独立，服从同一正态分布的随机变量。个相互独立，服从同一正态分布的随机变量。y12,Mx xx12(,;)1,tttMtxxxytN101 112121101122MMNNNMNMNyxxxyxxx012,M 12,N 合肥工业大学误差理论与数据处理第五节多元线性回归(0,)iN回归方程为：回归方程为：其中，其中， 是是 的最佳估的最佳估计值。计值。 根据最小二乘的矩阵形式可得回归系数的最根据最小二乘的矩阵形式可得回归