误差第6章-回归分析(不考)

1、第第6 6章章 回归分析回归分析 本章主要阐述回归分析的基本概念，并本章主要阐述回归分析的基本概念，并重点介绍一元线性回归和非线性回归的基本重点介绍一元线性回归和非线性回归的基本方法，给出回归方程的方差分析和显著性检方法，给出回归方程的方差分析和显著性检验。从而使学生掌握回归分析方法的基本原验。从而使学生掌握回归分析方法的基本原理，学会从实际测量中寻求两个变量和多个理，学会从实际测量中寻求两个变量和多个变量之间的内在关系。变量之间的内在关系。教学目标教学目标l 回归分析的基本概念和主要内容回归分析的基本概念和主要内容l 一元线性回归方程的求法一元线性回归方程的求法l 回归方程的方差分析和显著性

2、检验回归方程的方差分析和显著性检验l一元非线性回归方法一元非线性回归方法重点与难点重点与难点一、函数与相关一、函数与相关 的区别与联的区别与联系系函数关系：可以用函数关系式精确地表示出来。函数关系：可以用函数关系式精确地表示出来。相关关系：这些变量之间既存在着密切的关相关关系：这些变量之间既存在着密切的关 系，又不能由一个（或几个）自系，又不能由一个（或几个）自 变量的数值精确地求出另一个因变量的数值精确地求出另一个因 变量的数值，而是要通过试验和变量的数值，而是要通过试验和 调查研究，才能确定它们之间的调查研究，才能确定它们之间的 关系。关系。 第一节回归分析的基本概念第一节回归分析的基本概

3、念回归分析与最小二乘法的关系回归分析与最小二乘法的关系l区别：区别： 最小二乘法得到公式的待求参数估计量后，最小二乘法得到公式的待求参数估计量后，只对其精度进行评价，而不研究所拟合公式只对其精度进行评价，而不研究所拟合公式的整体质量。的整体质量。 回归分析求解回归方程系数后，还需对回回归分析求解回归方程系数后，还需对回归方程的整体精度进行分析和检验。归方程的整体精度进行分析和检验。l联系：联系： 最小二乘法是回归分析的主要理论基础。最小二乘法是回归分析的主要理论基础。 回归分析是最小二乘法的实际应用与扩展。回归分析是最小二乘法的实际应用与扩展。二、回归分析思路二、回归分析思路1 1、由数据确定

4、变量之间的数学表达式回归方、由数据确定变量之间的数学表达式回归方 程或经验公式；程或经验公式；2 2、对回归方程的可信度进行统计检验；、对回归方程的可信度进行统计检验；3 3、因素分析。、因素分析。第一节回归分析的基本概念第一节回归分析的基本概念回归分析回归分析：应用数学的方法，对大量的观测数：应用数学的方法，对大量的观测数据进行处理，从而得到比较符合事物内部规律据进行处理，从而得到比较符合事物内部规律的数学表达式。的数学表达式。一元线性回归：确定两个变量之间的线性关系。一元线性回归：确定两个变量之间的线性关系。一、回归方程的确定一、回归方程的确定例：确定某段导线的电阻与温度之间的关系：例：确

5、定某段导线的电阻与温度之间的关系：19.119.125.025.030.130.136.036.040.040.046.546.550.050.076.3076.3077.8077.8079.7579.7580.8080.8082.3582.3583.9083.9085.1085.10散点图：散点图：20202525 3030 3535 4040 4545 505076767878828280808484Cxo/y第二节一元线性回归第二节一元线性回归从散点图可以看出：电阻与温度大致成线性关系。从散点图可以看出：电阻与温度大致成线性关系。设测量数据有如下结构形式：设测量数据有如下结构形式：Ntx

6、yttt, 2 , 1,0式中，式中， 分别表示其它随机因素对电阻值分别表示其它随机因素对电阻值 影响的总和。影响的总和。N,21Nyyy,21思路：要求电阻思路：要求电阻y y与与x x的关系，即根据测量数据要求出的关系，即根据测量数据要求出0和和 的估计值。根据测量数据，可以得到的估计值。根据测量数据，可以得到7 7个测量方程，结合前面所学，未知数有两个，个测量方程，结合前面所学，未知数有两个，而方程个数大于未知数的个数，适合于用最小而方程个数大于未知数的个数，适合于用最小二乘法求解。二乘法求解。第二节一元线性回归第二节一元线性回归设得到的回归方程设得到的回归方程bxby0残差方程为残差方

7、程为Ntbxbyyyvttti, 2 , 1,0根据最小二乘原理可求得回归系数根据最小二乘原理可求得回归系数b b0 0和和b b。对照第五章最小二乘法的矩阵形式，令对照第五章最小二乘法的矩阵形式，令NNNvvvVbbbxxxXyyyY2102121111第二节一元线性回归第二节一元线性回归则误差方程的矩阵形式为则误差方程的矩阵形式为VbXY对照对照 ，设测得值，设测得值 的精度相等，则有的精度相等，则有XALVtyYXXXbTT1)(将测得值分别代入上式，可计算得将测得值分别代入上式，可计算得xxxyNttNttNttNttNtttllxxNyxyxNb2112111)()(xbyxxNyx

8、xyxbNtNttttNttNttNttNtt1122111120)()()(第二节一元线性回归第二节一元线性回归其中其中211122111121121211)(1)()(1)( )()(1)(11NttNtNtttyyNttNttNttttNttxyNttNttNttxxNttNttyNyyylyxNyxyyxxlxNxxxlyNyxNx第二节一元线性回归第二节一元线性回归二、回归方程的方差分析及显著性检验二、回归方程的方差分析及显著性检验问题：这条回归直线是否符合问题：这条回归直线是否符合y y 与与x x之间的客之间的客观规律？回归直线的预报精度如何？观规律？回归直线的预报精度如何？u对

9、对N N个观测值与其算术平均值之差的平方个观测值与其算术平均值之差的平方和进行分解；和进行分解；u从量值上区别对个观测值的影响因素；从量值上区别对个观测值的影响因素；u用用F F检验法对所求回归方程进行显著性检检验法对所求回归方程进行显著性检验。验。方差分析法方差分析法第二节一元线性回归第二节一元线性回归（一）回归方程的方差分析（一）回归方程的方差分析1 1、引起变差的原因：、引起变差的原因： A A、自变量、自变量x x的取值的不同；的取值的不同； B B、其它因素（包括试验误差）的影响。、其它因素（包括试验误差）的影响。2 2、方差分析、方差分析总的离差平方和（即总的离差平方和（即N N个

10、观测值之间的变差）个观测值之间的变差）NtyytlyyS12)(1 NS可以证明：可以证明：第二节一元线性回归第二节一元线性回归S=U+QS=U+Q其中其中NtxytblyyU12)(xyyyNtttbllyyQ12)(1U2 NQUU回归平方和，反映总变差中由于回归平方和，反映总变差中由于x x和和y y的线性关的线性关 系而引起系而引起 y y变化的部分。变化的部分。QQ残余平方和，反映所有观测点到回归直线的残残余平方和，反映所有观测点到回归直线的残 余误差，即其它因素对余误差，即其它因素对y y变差的影响。变差的影响。第二节一元线性回归第二节一元线性回归（二）回归方程显著性检验（二）回归

11、方程显著性检验 F F检验法检验法基本思路：方程是否显著取决于基本思路：方程是否显著取决于U U和和Q Q的大小，的大小，U U越大，越大，Q Q越越小，说明小，说明y y与与x x的线性关系愈密切。的线性关系愈密切。计算统计量计算统计量F FQUQUF/对一元线性回归，应为对一元线性回归，应为)2/(1/NQUF查查F F分布表，根据给定的显著性水平分布表，根据给定的显著性水平 和已知的和已知的自由度自由度1 1和和N-2N-2进行检验：进行检验：第二节一元线性回归第二节一元线性回归 回归在回归在0.010.01的水平上高度显著。的水平上高度显著。),2, 1 (01. 0NFF),2, 1

12、 ()2, 1 (01. 005. 0NFFNF回归在回归在0.050.05的水平上显著。的水平上显著。),2, 1 ()2, 1 (05. 010. 0NFFNF回归在回归在0.10.1的水平上显著。的水平上显著。),2, 1 (10. 0NFF回归不显著。回归不显著。若若 第二节一元线性回归第二节一元线性回归（三）残余方差与残余标准差（三）残余方差与残余标准差残余方差：排除了残余方差：排除了x x 对对y y的线性影响后，衡量的线性影响后，衡量y y 随机波动的特征量。随机波动的特征量。22NQ残余标准差：残余标准差：2NQ含义：含义： 越小，回归直线的精度越高。越小，回归直线的精度越高。

13、第二节一元线性回归第二节一元线性回归（四）方差分析表（四）方差分析表来源来源平方和平方和自由度自由度方差方差 F F显著性显著性回归回归残余残余 1 1 N-2 N-2 总计总计 N-1 N-1 2xyblU xyyybllQyylS 三、重复试验情况三、重复试验情况1 1、重复试验的意义、重复试验的意义“回归方程显著回归方程显著”：只表明因素：只表明因素x x的一次项对的一次项对y y的影响的影响显著；难以确定影响显著；难以确定影响y y的是否还有其它不可忽略的的是否还有其它不可忽略的因素？因素？x x和和y y是否线性是否线性? ? 不表明该方程拟合得很好。不表明该方程拟合得很好。)2/(

14、1/NQUF)2, 1 (NF第二节一元线性回归第二节一元线性回归 为检验一个回归方程拟合的好坏，可通过重复为检验一个回归方程拟合的好坏，可通过重复试验，获得误差平方和试验，获得误差平方和 和失拟平方和和失拟平方和 ，然后，然后用用 对对 进行进行F F检验。检验。EQLQEQLQ2 2、重复试验回归直线的求法、重复试验回归直线的求法1 1）设）设N N个试验点，每个试验点重复个试验点，每个试验点重复m m次试验，则将次试验，则将 这这m m次试验取平均值，然后再按照前面的方法进次试验取平均值，然后再按照前面的方法进 行拟合，见表行拟合，见表6 65 5和表和表6 66 6。2 2）方差分析）

15、方差分析第二节一元线性回归第二节一元线性回归来源来源 平方和平方和 自由度自由度 方差方差 F F 显著性显著性回归回归失拟失拟误差误差总计总计 xymblU UmlQyyLNtmittiEyyQ112)(LEQQUS1U2 NL) 1(mNE1 NmSUU/LLQ/EEQ/EEUQUF/EELLQQF/1),(EUF),(ELF3 3）方差检验）方差检验EEUQUF/)/()(/2LELEUQQUF: :判断一元回归方程拟合效果判断一元回归方程拟合效果: :判断失拟平方和对试验误差的影响判断失拟平方和对试验误差的影响: :综合判断一元回归方程拟合效果综合判断一元回归方程拟合效果EELLQQF

16、/1第二节一元线性回归第二节一元线性回归1 1）分组法平均值法）分组法平均值法 将自变量由小到大次序排列，分成个数（近于）相等的将自变量由小到大次序排列，分成个数（近于）相等的两个组（分组数等于未知数个数），建立相应观测方程：两个组（分组数等于未知数个数），建立相应观测方程：kkbxbybxby0101NNkkbxbybxby0101NktNktttktktttxbbkNyxbkby110110)(b b和和b b0 02 2）图解法紧绳法）图解法紧绳法四、回归直线的简便求法四、回归直线的简便求法第二节一元线性回归第二节一元线性回归2 2、求解未知参数。可化曲线回归为直线回归，、求解未知参数。

17、可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式用最小二乘法求解；可化曲线回归为多项式回归。回归。1 1、确定函数类型并检验。、确定函数类型并检验。一、求解思路一、求解思路二、回归曲线函数类型的选取和检验二、回归曲线函数类型的选取和检验1 1、直接判断法、直接判断法2 2、作图观察法，与典型曲线比较，确定其属于何、作图观察法，与典型曲线比较，确定其属于何种类型，然后检验。种类型，然后检验。第三节一元非线性回归第三节一元非线性回归3 3、直线检验法（适用于待求参数不多的情况）、直线检验法（适用于待求参数不多的情况）a a、预选回归曲线、预选回归曲线b b、c c、求出几对与、求出几

18、对与x,yx,y相对应的相对应的Z Z1 1,Z,Z2 2值值d d、以、以Z Z1 1,Z,Z2 2为坐标作图，若为直线，则说明原为坐标作图，若为直线，则说明原选定的曲线类型是合适的，否则重新考虑。选定的曲线类型是合适的，否则重新考虑。0),(bayxf0),(bayxf21BZAZ第三节一元非线性回归第三节一元非线性回归4 4、表差法（适用于多项式回归，含有常数项多于两、表差法（适用于多项式回归，含有常数项多于两个的情况）个的情况）a a、用试验数据画图；、用试验数据画图；b b、确定定差、确定定差 ，列出，列出x xi i,y,yi i各对应值；各对应值；c c、根据、根据x,yx,y的读出值作出差值的读出值作出差值 ，看其是否与确定，看其是否与确定 方程式的标准相符，若一致，则说明原选定的曲线方程式的标准相符，若一致，则说明原选定的曲线 类型是合适的。类型是合适的。xky三、化曲线回归为直线回归问题三、化曲线回归为直线回归问题 用直线检验法或表差法检验的曲