第01章 误差理论与最小二乘法

1、第一章第一章误差理论与最小二乘法误差理论与最小二乘法l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容 随机误差是因很多暂时随机误差是因很多暂时未能掌握未能掌握或或不便掌握不便掌握的的微微小因素产生小因素产生的，主要有以下几方面：的，主要有以下几方面： 测量装置测量装置方面的因素方面的因素 环境环境方面的因素方面的因素 人为人为方面的因素方面的因素零部件变形及其不稳零部件变形及其不稳定性，信号处理电路定性，信号处理电路的随机噪声等。的随机噪声等。

2、温度、湿度、气压的变温度、湿度、气压的变化，光照强度、电磁场化，光照强度、电磁场变化等。变化等。瞄准、读数不稳定，瞄准、读数不稳定，人为操作不当等。人为操作不当等。第一节随机误差第一节随机误差一、随机误差产生的原因一、随机误差产生的原因随机误差随机误差： 在在同一条件同一条件下，多次测量同一值，下，多次测量同一值，绝对值和符绝对值和符号以号以不可预测规律变化不可预测规律变化的误差。的误差。第一节随机误差第一节随机误差随机误差的特点：随机误差的特点：1、每个测量值都含有误差，这些、每个测量值都含有误差，这些误差的出现误差的出现没有确定没有确定的规律的规律，即前一个数据出现后，不能预测下一个数据，

3、即前一个数据出现后，不能预测下一个数据的大小和方向。的大小和方向。2、就、就误差整体误差整体而言，而言，具具有某种统计规律有某种统计规律。一、随机误差产生的原因一、随机误差产生的原因（1 1）随机误差分布具有）随机误差分布具有对称性对称性。绝对值相等的正、负误。绝对值相等的正、负误差产生的数量相等。差产生的数量相等。第一节随机误差第一节随机误差在在不考虑系统误差和粗大误差不考虑系统误差和粗大误差影响的条件下，影响的条件下，随机误差服从随机误差服从正态分布正态分布，具有如下特点：，具有如下特点：测量值测量值测量测量次数次数真值真值误差：误差：0iixx=-（2 2）随机误差分布具有）随机误差分布

4、具有单峰性单峰性。绝对值小的误差出现几。绝对值小的误差出现几率远远大于绝对值大的误差出现几率。率远远大于绝对值大的误差出现几率。第一节随机误差第一节随机误差测量值测量值测量测量次数次数真值真值在在不考虑系统误差和粗大误差不考虑系统误差和粗大误差影响的条件下，影响的条件下，随机误差服从随机误差服从正态分布正态分布，具有如下特点：，具有如下特点：误差：误差：0iixx=-（3 3）随机误差具有）随机误差具有有界性有界性。在一定测量条件下，随机误差。在一定测量条件下，随机误差的出现不会超过某一范围。的出现不会超过某一范围。第一节随机误差第一节随机误差测量值测量值测量测量次数次数真值真值在在不考虑系统

5、误差和粗大误差不考虑系统误差和粗大误差影响的条件下，影响的条件下，随机误差服从随机误差服从正态分布正态分布，具有如下特点：，具有如下特点：误差：误差：0iixx=-（4 4）随机误差具有）随机误差具有抵偿性抵偿性。测量次数趋于无穷大时，随。测量次数趋于无穷大时，随机误差的算术平均值趋于机误差的算术平均值趋于0 0。第一节随机误差第一节随机误差归纳随机误差的特点为：归纳随机误差的特点为：对称性、单峰性、有界性、抵偿性。对称性、单峰性、有界性、抵偿性。测量值测量值测量测量次数次数真值真值在在不考虑系统误差和粗大误差不考虑系统误差和粗大误差影响的条件下，影响的条件下，随机误差服从随机误差服从正态分布

6、正态分布，具有如下特点：，具有如下特点：误差：误差：0iixx=-第一节随机误差第一节随机误差二、正态分布二、正态分布)(P误差：误差：0iixx=-222221( )2h hP ee-=概率密度函数：概率密度函数：222221( )2h hP ee-=1）概率密度函数：）概率密度函数：)(P均方根误差均方根误差/标准误差标准误差 21niinds=误差：误差：0iixx=-第一节随机误差第一节随机误差二、正态分布二、正态分布2）特点）特点: 对称性对称性 - 可正可负可正可负 - 绝对值相等的正负误差出现的机会相等绝对值相等的正负误差出现的机会相等 P( ) - 曲线对称于纵轴曲线对称于纵轴

7、 有界性有界性 - 绝对值不会超过一定的范围（一定的测量条件下）绝对值不会超过一定的范围（一定的测量条件下）绝对值很大的误差几乎不出现绝对值很大的误差几乎不出现第一节随机误差第一节随机误差二、正态分布二、正态分布-KK 抵偿性抵偿性 - 测量次数测量次数n 时（相同条件下）时（相同条件下）全体随机函数值的全体随机函数值的代数和为零代数和为零10limniind= 单峰性单峰性 - 绝对值小的误差出现的机会多（概率密度大）绝对值小的误差出现的机会多（概率密度大） =0 处随机误差概率密度有最大值处随机误差概率密度有最大值2）特点）特点:第一节随机误差第一节随机误差二、正态分布二、正态分布-KK-

8、KK数学期望（数学期望（Expectation ） - 真值真值 x0标准偏差（标准偏差（Standard deviation） 3）特征量：）特征量：12hs= 小，h 大 大，h 小小21niinds=第一节随机误差第一节随机误差二、正态分布二、正态分布 对某量进行一系列测量时，由于存在随机误差，因此其获得对某量进行一系列测量时，由于存在随机误差，因此其获得的测量值不完全相同，此时应以算术平均值作为该量的真值。的测量值不完全相同，此时应以算术平均值作为该量的真值。 设设 为为n n 次测量所得的值，则算术平均值为次测量所得的值，则算术平均值为: : 1211nniilllxlnn12,nl

9、 ll第一节随机误差第一节随机误差三、算术平均值三、算术平均值当测量次数无限增加时，算术平均值必然趋近于真值。当测量次数无限增加时，算术平均值必然趋近于真值。 由于由于值反映了值反映了测量值或随机误差的散布程度测量值或随机误差的散布程度，因此，因此值可作为随机误差的评定尺度。值可作为随机误差的评定尺度。第一节随机误差第一节随机误差21niinds=标准差标准差不是测量当中任何一个具体测量值的随机误差不是测量当中任何一个具体测量值的随机误差。的大小只说明，在一定条件下的大小只说明，在一定条件下随机误差的概率分布情况随机误差的概率分布情况。哪条曲线表示哪条曲线表示数据更集中？数据更集中？四、测量的

10、标准差四、测量的标准差l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容研究系统误差的重要意义研究系统误差的重要意义第二节系统误差第二节系统误差 系统误差不易被发现，系统误差不易被发现，多次重复测量不能减小它对测量结果多次重复测量不能减小它对测量结果的影响的影响。系统误差系统误差: : 在在确定的测量条件下，某种测量方法和装置确定的测量条件下，某种测量方法和装置，在，在测量之前测量之前就已存在就已存在误差，并误差，并始终始终以以必然性规律必然性规

11、律影响测量结果的正确度，影响测量结果的正确度，如果这种影响显著的话，就要影响测量结果的准确度。如果这种影响显著的话，就要影响测量结果的准确度。测量结果的精度，测量结果的精度，与随机误差和系统误差都有关与随机误差和系统误差都有关。计量校准后发现的偏差、仪器设计原理计量校准后发现的偏差、仪器设计原理缺陷、仪器制造和安装不正确等。缺陷、仪器制造和安装不正确等。测量时的实际温度对标准温度的测量时的实际温度对标准温度的偏差、测量过程中的温度、湿度偏差、测量过程中的温度、湿度按一定规律变化的误差。按一定规律变化的误差。采用近似的测量方法或计算公式采用近似的测量方法或计算公式引起的误差等。引起的误差等。测量

12、人员固有的测量习性引起的测量人员固有的测量习性引起的误差等。误差等。第二节系统误差第二节系统误差一、系统误差产生的原因一、系统误差产生的原因 系统误差系统误差由固定不变的或按确定规律变化的因素造成由固定不变的或按确定规律变化的因素造成，在条件充分的情况下这些因素在条件充分的情况下这些因素可以掌握可以掌握。 测量装置方面的因素测量装置方面的因素 环境方面的因素环境方面的因素 测量方法的因素测量方法的因素 测量人员的因素测量人员的因素第二节系统误差第二节系统误差二、系统误差的分类和特征二、系统误差的分类和特征特征：特征：在在同一条件同一条件下，多次测量同一测量值时，下，多次测量同一测量值时，误差的

13、绝对值和误差的绝对值和 符号保持不变符号保持不变，或者在，或者在条件改变条件改变时，时，误差按一定的规律变化误差按一定的规律变化。系统误差系统误差不具有抵偿性不具有抵偿性，它是，它是固定的固定的或或服从一定函数规律服从一定函数规律的误差。的误差。从广义上讲，系统误差是指从广义上讲，系统误差是指服从某一确定规律变化的误差服从某一确定规律变化的误差。分类：分类： 不变系统误差不变系统误差 变化系统误差变化系统误差第二节系统误差第二节系统误差（一）不变系统误差（一）不变系统误差二、系统误差的分类和特征二、系统误差的分类和特征在整个测量过程中，在整个测量过程中，误差的大小和符号始终不变误差的大小和符号

14、始终不变。如：调零误差，量块或其它标准件尺寸的偏差等。如：调零误差，量块或其它标准件尺寸的偏差等。它对每一测量值的它对每一测量值的影响均为一个常量影响均为一个常量。（二）变化系统误差（二）变化系统误差 在整个测量过程中，误差的大小和方向随测试的某一个在整个测量过程中，误差的大小和方向随测试的某一个或某几个因素或某几个因素按确定的函数规律而变化按确定的函数规律而变化。 线性变化的系统误差线性变化的系统误差第二节系统误差第二节系统误差二、系统误差的分类和特征二、系统误差的分类和特征 周期变化的系统误差周期变化的系统误差 复杂规律变化的系统误差复杂规律变化的系统误差 例：微安表的指针偏转角与偏转力距

15、例：微安表的指针偏转角与偏转力距间不严格保持线性关系，而表盘仍采用间不严格保持线性关系，而表盘仍采用均匀刻度所产生的误差。均匀刻度所产生的误差。l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容第三节粗大误差第三节粗大误差可疑数据：可疑数据： 在一系列重复测量中，在一系列重复测量中，与其它数据相比有明显差异与其它数据相比有明显差异的数据。的数据。可疑数据很可疑数据很可能含有粗大误差可能含有粗大误差（简称粗差）。（简称粗差）。测测量量值值测量测量次

16、数次数真值真值精度偏精度偏精度偏精度偏将大误差当成粗差将大误差当成粗差导致导致将粗差当成大误差将粗差当成大误差导致导致影响对影响对 的估计的估计x要对数据中异常值要对数据中异常值正确判断和处理正确判断和处理。高高低低第三节粗大误差第三节粗大误差一、粗大误差产生的原因一、粗大误差产生的原因产生粗大误差的原因是多方面的，大致可归纳为：产生粗大误差的原因是多方面的，大致可归纳为： 测量人员的主观原因测量人员的主观原因 客观外界条件的原因客观外界条件的原因测量者工作责任感不强、工作过于测量者工作责任感不强、工作过于疲劳、缺乏经验操作不当，或在测疲劳、缺乏经验操作不当，或在测量时不小心、不耐心、不仔细等

17、，量时不小心、不耐心、不仔细等，造成读数错误等。造成读数错误等。测量条件意外地改变（如机械冲击、测量条件意外地改变（如机械冲击、外界振动、电磁干扰等）。外界振动、电磁干扰等）。第三节粗大误差第三节粗大误差二、判别粗大误差的准则二、判别粗大误差的准则首要方法：从首要方法：从技术上和物理上技术上和物理上找出产生异常值的原因。找出产生异常值的原因。 （读错记错数据，仪器的突然故障，或外界条件的突变等）（读错记错数据，仪器的突然故障，或外界条件的突变等）统计方法：统计方法：测量完成后测量完成后也也不能确知不能确知数据中是否含有粗大误差。数据中是否含有粗大误差。-5051015-0.1-0.0500.0

18、50.10.150.20.25P P测测量量值值测量测量次数次数真值真值limaxxt()P ttaa=1t0.05a=0.01a=2t第三节粗大误差第三节粗大误差二、判别粗大误差的准则二、判别粗大误差的准则统计法的基本思想是：统计法的基本思想是： 给定一个给定一个显著性水平显著性水平，按一定分布，按一定分布确定一个临界值确定一个临界值， 凡超过这个界限的误差，就认为它属于粗大误差凡超过这个界限的误差，就认为它属于粗大误差，应予以剔除。，应予以剔除。粗大误差的判定，粗大误差的判定，要特别慎重要特别慎重，应作充分的分析和研究。，应作充分的分析和研究。-5051015-0.1-0.0500.050

19、.10.150.20.25P P测测量量值值测量测量次数次数真值真值limaxxt()P ttaa=1t0.05a=0.01a=2t第三节粗大误差第三节粗大误差二、判别粗大误差的准则二、判别粗大误差的准则第三节粗大误差第三节粗大误差（一）（一） 准则准则3最常用、最简单的判别准则。最常用、最简单的判别准则。前提：前提：测量次数充分大测量次数充分大。以贝塞尔公式算得以贝塞尔公式算得 ，以，以 代替真值。对某个可疑数据代替真值。对某个可疑数据 ，若其残差满足：若其残差满足： 则可认为该数据则可认为该数据含有粗大误差含有粗大误差，应予以剔除。，应予以剔除。xdx| | 3ddvxxl随机误差随机误差

20、l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容第四节最小二乘法 一、引入一、引入待测量（难以直接测量）：待测量（难以直接测量）：12,tXXX直接测量量：直接测量量：12,nY YY111122221212(,)(,)(,)ttnnntlYf XXXlYfXXXlYfXXX问题：如何根据问题：如何根据 和测量方程和测量方程解得待测量的估计值解得待测量的估计值 ？ 12, ,nl ll12,tx xx:nt直接求得直接求得 。12,tx xx:nt有利于减小随机

21、误差，采用最小二乘原理求有利于减小随机误差，采用最小二乘原理求 。12,tx xx讨论：讨论：二、最小二乘原理二、最小二乘原理 设直接测量量设直接测量量 的估计值为的估计值为 ，则有，则有: :12,nY YY12,ny yy1112221212( ,)( ,)( ,)ttnntyf x xxyfx xxyfx xx由此得测量数据由此得测量数据 的残余误差：的残余误差：12, ,nl ll111122221212( ,)( ,)( ,)ttnnntvlf x xxvlfx xxvlfx xx残差方程式残差方程式第四节最小二乘法 22(2)1(1,2, )2iiiiiPedin各测量数据同时出现

22、的概率为各测量数据同时出现的概率为221(2)1211212niiinininPPeddd 若若 不存在系统误差，相互独立并服从正态分布，标准不存在系统误差，相互独立并服从正态分布，标准差分别为差分别为 ，则，则 出现在相应真值附近出现在相应真值附近 区域内的概率为区域内的概率为12, ,nl ll12,n12,nddd12, ,nl ll测测量量值值真值真值1d这这n个测量值出现于相应区间的个测量值出现于相应区间的概率概率P为最大。为最大。2221222212nn最小最小2221222212nnvvv最小最小近似真值近似真值第四节最小二乘法 最小二乘原理：最小二乘原理：2222121nnii

23、vvvv最小最小最小二乘原理最小二乘原理 测量结果的最可信赖值应使测量结果的最可信赖值应使残余误差平方和残余误差平方和最小。最小。第四节最小二乘法 2221222212nnvvv最小线性参数的测量方程和相应的估计量为：线性参数的测量方程和相应的估计量为：11111221221122221122ttttnnnnttYa Xa Xa XYa Xa Xa XYa Xa Xa X111 11221221 122221 122ttttnnnnttya xa xa xya xa xa xya xa xa x残差方程为：残差方程为：1111 112212221 122221 122()()()ttttnnn

24、nnttvla xa xa xvla xa xa xvla xa xa x12nllLl令令12txxXx12nvvVv111212122212ttnnntaaaaaaAaaaVLAX第四节最小二乘法 最小二乘原理的矩阵形式：最小二乘原理的矩阵形式：TTV VLAXLAX最小（） （） 最小最小二乘原理：最小二乘原理：2222121nniivvvv最小最小VLAX第四节最小二乘法 l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容第五节正规方程

25、正规方程：正规方程：误差方程误差方程按最小二乘法原理转化得到的按最小二乘法原理转化得到的有确定解的代数方程组有确定解的代数方程组。1111 112212221 122221 122()()()ttttnnnnnttvla xa xa xvla xa xa xvla xa xa x22212nvvv最小21121()0()0niiniitvxvx正规方程：正规方程：111 112211111221 1222211111 1221111nnnniiiiiiiittiiiinnnniiiiiiiittiiiinnnnit iitiitiitittiiiia la a xa a xa a xa la

26、a xa a xa a xa la a xa a xa a x特点：特点：主对角线主对角线分布着平方项系数，正数；分布着平方项系数，正数；相对于主对角线相对于主对角线对称分布的各系数两两相等对称分布的各系数两两相等。第五节正规方程 则正规方程可写成则正规方程可写成11 121 2112 122221122000nnnnttntna va va va va va va va va v0TA V正规方程的矩阵形式正规方程的矩阵形式将代入到中，得将代入到中，得VLAX0TA V0TTA LA AXTTA AXA LTCXA L1TXC A L（待测量的估计）（待测量的估计）TCA A第五节正规方程

27、解：解： 1 1）列出误差方程）列出误差方程00()iiivlyy t令令 为两个待估参量，则误差方程为为两个待估参量，则误差方程为00,ycyd()iiivlct d2000.361 102000.721 202000.801 252001.071 302001.481 402001.601 45cLXAd11.130.0340.034 0.0012C11999.970.03654TcXC A LdTCA A2001.602001.602001.482001.482001.072001.072000.82000.82000.722000.722000.362000.3645454040303

28、02525202010100/itC/ilmm例例: : 已知铜棒的长度和温度之间具有线性关系：已知铜棒的长度和温度之间具有线性关系： 为获得为获得时铜棒的长度时铜棒的长度 和铜的线膨胀系数，和铜的线膨胀系数， 现测得不同温度下铜棒的长度，求现测得不同温度下铜棒的长度，求 ，的最可信赖值。，的最可信赖值。0(1)tyyt0y0y0001999.97/0.0000183/ycmmdyC因此：因此：第五节正规方程 组合测量：组合测量：直接测量待测参数的组合量直接测量待测参数的组合量, , 然后对这些然后对这些测量数据测量数据进行处理，从而求得进行处理，从而求得待测参数待测参数的估计量。的估计量。以

29、检定三段刻线间距为例，要求检定刻线以检定三段刻线间距为例，要求检定刻线A AD D间的距离间的距离 。123,x xxA AB BC CD D1x3x2xA AB BC CD D1l3l2l4l6l5l测量数据的估计测量数据的估计待测参数的估计待测参数的估计第五节正规方程 直接测量各组合量，得直接测量各组合量，得1234561.0150.9851.0202.0161.9813.032lmm lmm lmmlmm lmm lmm首先列出误差方程首先列出误差方程1112223334412552366123()()()vlxvlxvlxvlxxvlxxvlxxx1 0 00 1 00 0 11 1

30、00 1 11 1 1A1234561.0150.9851.0202.0161.9183.032lllLlll123xXxx第五节正规方程 1231.0280.9831.013xXxx求得估计量为求得估计量为则则11123()TTTxXxC A LA AA Lx式中，式中，1121 01()1 21401 2TCA A第五节正规方程 l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容第六节回归分析的基本概念函数与相关函数与相关函数关系：可以用函数

31、关系：可以用明确的函数关系式明确的函数关系式精确地表示出来。精确地表示出来。GKP例例 电费与用电量：电费与用电量： 电费电费= =用电量用电量 每度电单价每度电单价相关关系：某些变量之间相关关系：某些变量之间既存在着密切的关系既存在着密切的关系，又不又不 能由一个（或几个）自变量的数值精确地能由一个（或几个）自变量的数值精确地 求出因变量的数值求出因变量的数值，而是要通过试验和调，而是要通过试验和调 查研究，才能确定它们之间的关系。查研究，才能确定它们之间的关系。例例 家庭收入与恩格尔系数：家庭收入与恩格尔系数： 家庭收入高，则恩格尔系数低。家庭收入高，则恩格尔系数低。体 重90807060

32、504030身高180170160150XY线性正相关线性正相关 自变量自变量(independent variable)：解释变量，给定：解释变量，给定的或可以控制的、用来解释、预测因变量的变量。的或可以控制的、用来解释、预测因变量的变量。 因变量因变量(dependent variable)：响应变量，由自变：响应变量，由自变量来解释其变化的变量。量来解释其变化的变量。XYXY第六节回归分析的基本概念回归分回归分析分类析分类按自变量按自变量个数分类个数分类一元回归一元回归简单回归简单回归多元回归多元回归复回归复回归按方程式按方程式特征分类特征分类线性回归线性回归非线性回归非线性回归一一 元

33、元线线性性回回归归Simple Linear regression第六节回归分析的基本概念l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容一、参数估计：一、参数估计： 确定两个变量之间的线性关系，即确定两个变量之间的线性关系，即直线拟合问题直线拟合问题。第七节第七节 一元线性回归分析一元线性回归分析最小二乘法最小二乘法(Least squares method):以极小化以极小化 为目标的求估计为目标的求估计方程的过程。方程的过程。2()yy

34、ya bx ya bx残差残差(Residual):e第七节第七节 一元线性回归分析一元线性回归分析从散点图可以看出：体重与身高大致成线性关系。从散点图可以看出：体重与身高大致成线性关系。设测量数据有如下结构形式：设测量数据有如下结构形式：0,1,2,tttyxtN式中，式中， 分别表示其它随机因素对身高和体重分别表示其它随机因素对身高和体重 影响的总和。影响的总和。12,N12,Ny yy思路：要求思路：要求y y与与x x的关系，即的关系，即根据测量数据要求出根据测量数据要求出 的估计值的估计值。根据测量数据，可得到。根据测量数据，可得到1010个测量方个测量方 程，结合前面所学，未知数有

35、两个，方程个数程，结合前面所学，未知数有两个，方程个数 大于未知数的个数，适合用大于未知数的个数，适合用最小二乘法最小二乘法求解。求解。0和和第七节第七节 一元线性回归分析一元线性回归分析设得到的回归方程为设得到的回归方程为0 ybbx残差方程为残差方程为0,1,2,itttvyyybbxtN根据最小二乘原理可求根据最小二乘原理可求得回归系数得回归系数b0和和b。对照最小二乘法的矩阵形式，令对照最小二乘法的矩阵形式，令1112202111NNNyxvyxbvYXbVbyxv第七节第七节 一元线性回归分析一元线性回归分析则误差方程的矩阵形式为则误差方程的矩阵形式为YXbV对照对照 ，有，有VLA

36、X1()TTbX XX Y将测得值分别代入上式，可计算得将测得值分别代入上式，可计算得1112211()()()NNNtttttttNNttttNx yxybNxx2111102211()()()()()NNNNtttttttttNNttttxyxx ybybxNxx第七节第七节 一元线性回归分析一元线性回归分析xyxxll=21()Ntxxtxxl=-=1()()Nttxytxxyyl=-=1()TTXA AA L学生身高x体重yx2y2xy估计值残差y-ABCDEFGHIJ15816016216416616817017217417647504855626052617065249642560

37、02624426896275562822428900295843027630976220925002304302538443600270437214900422574268000777690201029210080884010492121801144047.29149.44851.60653.76455.92158.07960.23662.39464.55266.709-0.2910.552-3.6061.2366.0791.921-8.236-1.3945.448-1.7091670 57027922033032 95546-02010 95546 1670 5701.078810 2792

38、20 167057 1.0788 167123.1596bb-=-=-= -123.15961.0788yx= -+167123.1596 1.0788 16757xy= -+=第七节第七节 一元线性回归分析一元线性回归分析SST(Sum of squares of total)： 总的（离差）平方和总的（离差）平方和SSR(Sum of squares of regression): 回归平方和回归平方和SSE(Sum of squares of errors): 误差（残差）平方和误差（残差）平方和第七节第七节 一元线性回归分析一元线性回归分析二、回归估计误差：二、回归估计误差：yy yy

39、yy yy2()SSTyy2()SSEyy2 ()SSRyy第七节第七节 一元线性回归分析一元线性回归分析yy yyyy yyyy yyyySST=SSR+SSE第七节第七节 一元线性回归分析一元线性回归分析221()SSTyyn=-邋2221()1()xyxynSSRxxn-=-邋邋20()SSEybbx=-第七节第七节 一元线性回归分析一元线性回归分析0 ybbxy 由于样本的相应统计量（相关系数、回归系由于样本的相应统计量（相关系数、回归系数等）具有随机性，因此，我们需要对其进行显数等）具有随机性，因此，我们需要对其进行显著性检验，以验证是否可以据此推断总体的参数。著性检验，以验证是否可

40、以据此推断总体的参数。 第七节第七节 一元线性回归分析一元线性回归分析三、回归方程的检验三、回归方程的检验(F 检验检验)F检验是基于检验是基于F分布进行的，是方差分析内容之一。分布进行的，是方差分析内容之一。第七节第七节 一元线性回归分析一元线性回归分析问题：这条回归直线是否符合问题：这条回归直线是否符合y 与与x之间的客之间的客观规律？观规律？u对对N个测量值与其算术平均值之差的平方和分解；个测量值与其算术平均值之差的平方和分解；u从量值上区别对个测量值的影响因素；从量值上区别对个测量值的影响因素；u用用F检验法对所求回归方程进行显著性检验。检验法对所求回归方程进行显著性检验。方差分析法：

41、方差分析法：三、回归方程的检验三、回归方程的检验(F 检验检验)yy yyyy yy2()SSTyy2()SSEyy2 ()SSRyy第七节第七节 一元线性回归分析一元线性回归分析1、引起变差的原因：、引起变差的原因： A、自变量、自变量x取值的不同；取值的不同； B、其它因素（包括试验误差）的影响。、其它因素（包括试验误差）的影响。2、方差分析、方差分析总的离差平方和（即总的离差平方和（即N个观测值之间的变差）个观测值之间的变差）21()NtyytSyyl1SN第七节第七节 一元线性回归分析一元线性回归分析可以证明：可以证明：S=U+Q其中其中21()NtxytUyybl1U回归平方和，反映

42、回归平方和，反映S中由于中由于x和和y的的线性关系引起线性关系引起 y变化的部分。变化的部分。残差平方和，反映其它残差平方和，反映其它因素对因素对y变差的影响。变差的影响。21()NttyyxytQyylbl2QN基本思路：基本思路：方程是否显著取决于方程是否显著取决于U和和Q的大小，的大小，U越大，越大，Q越小，说明越小，说明y与与x的线性关系愈密切。的线性关系愈密切。计算统计量计算统计量F/UQUFQ对一元线性回归，应为对一元线性回归，应为/1/(2)UFQN查查F分布表，根据给定的显著性水平分布表，根据给定的显著性水平 和已知的和已知的自由度自由度1和和N-2进行检验：进行检验：S=U+

43、Q第七节第七节 一元线性回归分析一元线性回归分析3、F检验检验若若 回归在回归在0.01的水平上高度显著。的水平上高度显著。0.01(1,2),FFN0.050.01(1,2)(1,2),FNFFN回归在回归在0.05的水平上显著。的水平上显著。0.100.05(1,2)(1,2),FNFFN回归在回归在0.1的水平上显著。的水平上显著。0.10(1,2),FFN回归不显著。回归不显著。第七节第七节 一元线性回归分析一元线性回归分析残余方差：排除了残余方差：排除了x 对对y的线性影响后，衡量的线性影响后，衡量y 随机波动的特征量。随机波动的特征量。22QN残余标准差：残余标准差：2QN越小，回

44、归直线的精度越高。越小，回归直线的精度越高。第七节第七节 一元线性回归分析一元线性回归分析4、残余方差与残余标准差、残余方差与残余标准差 N-1总计 1 N-2回归残余显著性 F方差自由度平方和来源xyUblyyxyQlblyySl/1/(2)UFQN(1,2)FN5、方差分析表、方差分析表l随机误差随机误差l系统误差系统误差l粗大误差粗大误差l最小二乘法最小二乘法l正规方程正规方程l回归分析的基本概念回归分析的基本概念l一元线性回归分析一元线性回归分析l多元线性回归多元线性回归内容内容 上节讨论的只是两个变量的回归问题，其中因变量只上节讨论的只是两个变量的回归问题，其中因变量只与一个自变量相关。但这只是最简单的情况，在大多数与一个自变量相关。但这只是最简单的情况，在大多数的实际问题中，的实际问题中，影响因变量的因素不是一个而是多个影响因变量的因素不是一个而是多个，我们称这类问题为多元