第二章 实验数据的处理-2

1、计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 1/372.2 实验数据错误值的剔除实验数据错误值的剔除 错误值（过失误差）的处理错误值（过失误差）的处理 测量数据在其采集、传输与记录过程中，有可能造测量数据在其采集、传输与记录过程中，有可能造成数据丢失或个别数据产生不切合实际的偏差，这种数成数据丢失或个别数据产生不切合实际的偏差，这种数据称为据称为错误值，或称为奇异项或坏值错误值，或称为奇异项或坏值。1.人为因素（读错、记录错、操作错）人为因素（读错、记录错、操作错）2.不符合实验条件的环境突变（突然振动、电磁干扰等）不符合实验条件

2、的环境突变（突然振动、电磁干扰等）024681012141618200.00.51.01.52.02.53.03.5024681012141618200.00.51.01.52.02.53.03.5 Y X 计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 2/372.2 实验数据错误值的剔除实验数据错误值的剔除剔除错误值的目的：剔除错误值的目的： 主要是恢复数据的客观真实性，而不是为了主要是恢复数据的客观真实性，而不是为了提高精度提高精度。 剔除错误值基本思想：剔除错误值基本思想： 规定一个置信水平，确定一个规定一个置信水平，确定一个

3、置信限度置信限度，凡是超过这，凡是超过这个限度的误差，就认为它不属于随机误差的范围，是错误个限度的误差，就认为它不属于随机误差的范围，是错误值，从而予以剔除。值，从而予以剔除。 由于置信限度与统计量的分布及测量次数有关，剔除由于置信限度与统计量的分布及测量次数有关，剔除了一次坏值后，还需对留下的数据重新检验，直到满足置了一次坏值后，还需对留下的数据重新检验，直到满足置信限度。信限度。 计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 3/372.2 实验数据错误值的剔除实验数据错误值的剔除剔除错误值的常用方法剔除错误值的常用方法1.拉依

4、达方法：拉依达方法：非等置信概率非等置信概率2.肖维勒方法：肖维勒方法：等置信概率等置信概率3.一阶差分法：一阶差分法：预估比较法预估比较法计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 4/372.2 实验数据错误值的剔除实验数据错误值的剔除1 拉依达方法拉依达方法 如果某测量值与如果某测量值与平均值平均值之差大于标准偏差的三倍，之差大于标准偏差的三倍，则予以剔除。则予以剔除。 这种方法用于正态分布的数据，当这种方法用于正态分布的数据，当n时，其置信时，其置信概率为概率为99.7%。实际中，即使是在正态分布的条件下，。实际中，即使是

5、在正态分布的条件下，由于测量次数不同，其置信概率就不同，可见拉依达方由于测量次数不同，其置信概率就不同，可见拉依达方法是一种法是一种非等置信概率非等置信概率方法。方法。计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 5/372.2 实验数据错误值的剔除实验数据错误值的剔除2 肖维勒方法肖维勒方法 对于遵从正态分布的情况，在对于遵从正态分布的情况，在 n 次测量结果中，如次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为这实质上是规定了置信概率为1-1

6、/2n，根据这一置信，根据这一置信概率，可计算出肖维勒系数概率，可计算出肖维勒系数 ，也可从表中查出，当要求，也可从表中查出，当要求 不很严格时，还可按下列近似公式计算。不很严格时，还可按下列近似公式计算。1 0.4 ( )nln n 计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 6/372.2 实验数据错误值的剔除实验数据错误值的剔除肖维勒系数表肖维勒系数表nnnn31.38132.0741.53142.1051.65152.1361.73202.2471.80302.3981.86402.4991.92502.58101.961

7、002.81112.002003.02122.035003.20计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 7/372.2 实验数据错误值的剔除实验数据错误值的剔除 如果某测量值与平均值如果某测量值与平均值 之差的绝对值大于标准偏差之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值与肖维勒系数之积，则该测量值xi被剔除。被剔除。 肖维勒方法是一种肖维勒方法是一种等置信概率等置信概率方法。方法。xnisxx计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 8/372.2 实

8、验数据错误值的剔除实验数据错误值的剔除3 一阶差分法一阶差分法 一阶差分法是一种一阶差分法是一种预估比较法预估比较法，是用前两个测量，是用前两个测量值来外推即预估新的测量值，然后用预估值与实际测量值来外推即预估新的测量值，然后用预估值与实际测量值比较，并事先给定其允差限值，称作误差窗，以此来值比较，并事先给定其允差限值，称作误差窗，以此来决定该测量值的取舍。决定该测量值的取舍。预估值：预估值：xxxxnnnn112()比较判别：比较判别：xxWnn计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 9/372.2 实验数据错误值的剔除实验

9、数据错误值的剔除3 一阶差分法一阶差分法 一阶差分法特点：一阶差分法特点：1.适合于实时数据采集与处理过程适合于实时数据采集与处理过程2.精度除了与误差窗的大小有关外，还与前两点测精度除了与误差窗的大小有关外，还与前两点测量值的精确度有关量值的精确度有关3.如果被测物理量的变化规律不是如果被测物理量的变化规律不是单调递增或单单调递增或单调递减调递减函数，这一方法将在函数的拐点处产生函数，这一方法将在函数的拐点处产生较大的误差，严重时将无法使用较大的误差，严重时将无法使用计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 10/372.2

10、实验数据错误值的剔除实验数据错误值的剔除例例2.2.1 利用利用肖维勒方法肖维勒方法对下列数据的错误值进行剔除对下列数据的错误值进行剔除 1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007 1.5067 1.4993 1.4969inxxxS211niixxxSn上列数据保存于文件上列数据保存于文件erro.datnn n 104 .( )计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 11/372.2 实验数据错误值的剔除实验数据错误值的剔除012345678910110.511.522

11、.533.5原 始 数 据012345678910110.511.522.533.5错 误 值 剔 除 后 数 据std.m计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 12/372.3 实验数据的平滑滤波实验数据的平滑滤波 在物理实验中，不论是人工观测的数据还是由数据在物理实验中，不论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上噪声信号。为了采集系统获取的数据，都不可避免叠加上噪声信号。为了提高数据的质量，必须去除噪声。提高数据的质量，必须去除噪声。计计计算算算物物物理理理学学学Harbin Institute

12、of Technology Yangkun 13/372.3 实验数据的平滑滤波实验数据的平滑滤波错误值剔除：错误值剔除：0.00.20.40.60.81.01.20.81.01.21.41.61.82.02.22.4Y X 计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 14/372.3 实验数据的平滑滤波实验数据的平滑滤波数字滤波数字滤波时域滤波时域滤波频域滤波频域滤波平滑滤波平滑滤波 对一个按某种对一个按某种等间隔规律等间隔规律（如等时测量，等（如等时测量，等电压间隔测量等）测得的数据序列，对某一位置电压间隔测量等）测得的数据序

13、列，对某一位置处的数据，利用其前后的数据经某种运算后，得处的数据，利用其前后的数据经某种运算后，得到一个新的平滑数据，从而得到一个新的平滑后到一个新的平滑数据，从而得到一个新的平滑后的数据序列。的数据序列。 平滑滤波是依据随机噪声的概率统计性质，平滑滤波是依据随机噪声的概率统计性质，通过适当运算，使噪声抑制到满意的程度。通过适当运算，使噪声抑制到满意的程度。 计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 15/372.3 实验数据的平滑滤波实验数据的平滑滤波2.3.1 单纯移动平均单纯移动平均 单纯移动平均法是在时域序列中，某一数据

14、单纯移动平均法是在时域序列中，某一数据点前后对称地取出点前后对称地取出2n+12n+1个数据（个数据（平滑宽度或平滑平滑宽度或平滑窗口窗口），求其平均值作为结果序列中的数据，而），求其平均值作为结果序列中的数据，而取代原始数据。取代原始数据。1211:i niiii niNyy yyyyyynny yynnkkiiyny121), 2, 1(nNnni计计计算算算物物物理理理学学学2.3 实验数据的平滑滤波实验数据的平滑滤波例例2.3.1 分别利用分别利用3、9、15点单纯移动平均对下列数据进点单纯移动平均对下列数据进行平滑。行平滑。计计计算算算物物物理理理学学学Harbin Institut

15、e of Technology Yangkun 17/372.3 实验数据的平滑滤波实验数据的平滑滤波nnkkiiyny121), 2, 1(nNnni计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 18/372.3 实验数据的平滑滤波实验数据的平滑滤波计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 19/372.3 实验数据的平滑滤波实验数据的平滑滤波优点：优点： 方法简单，计算方便。方法简单，计算方便。缺点：缺点： 方法误差：信号失真。方法误差：信号失真。 数据丢失：前后

16、各数据丢失：前后各n n个数据无法平滑。个数据无法平滑。适用性：适用性： 适用于变化缓慢的数据。适用于变化缓慢的数据。平滑窗口越大，平滑效果越好，但失真也越大。平滑窗口越大，平滑效果越好，但失真也越大。单纯移动平均小结单纯移动平均小结计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 20/372.3 实验数据的平滑滤波实验数据的平滑滤波2.3.2 加权移动平均加权移动平均加权的基本思想：加权的基本思想： 平均区间内中心处数据的权值最大，愈偏离平均区间内中心处数据的权值最大，愈偏离中心处的数据权值愈小。这样就减小了对真实信中心处的数据权值

17、愈小。这样就减小了对真实信号本身的平滑作用。号本身的平滑作用。 权重系数权重系数可以采用可以采用最小二乘原理最小二乘原理，即使平滑后，即使平滑后的数据以最小均方差逼近原始数据。的数据以最小均方差逼近原始数据。2mini ti ttyy单纯移动平均采用算术平均，存在信号失真的方法误差。单纯移动平均采用算术平均，存在信号失真的方法误差。计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 21/372.3 实验数据的平滑滤波实验数据的平滑滤波设自变量设自变量x x以步长以步长h h作等距观测的数据作等距观测的数据y yxix0 x1 xi-1

18、xi xi+1 xN yiy0 y1 yi-1 yi yi+1 yN 0ixxihixxth作变换作变换计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 22/3700000():()():iiNxxxxihxtihhxxxNhxihxtNihh 2.3 实验数据的平滑滤波实验数据的平滑滤波数据数据变为变为ti+t-i 1-i -1 0 1 N-i 0 1 i-1 i i+1 Nyi+ty0 y1 yi-1 yi yi+1 yN 构造平滑公式：构造平滑公式：2012mi tmyAAtA tA t平滑多项式的系数由最小二乘原理确定平滑多项

19、式的系数由最小二乘原理确定 2minmini ti ttyy计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 23/372.3 实验数据的平滑滤波实验数据的平滑滤波即即20122mini ttmmAAtA tA ty t 取最靠近取最靠近i 的的k=2n+1个整数值（平滑点的数个整数值（平滑点的数目），且应保证目），且应保证 mkN，t=-n,-n+1,0n-1,n计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 24/372.3 实验数据的平滑滤波实验数据的平滑滤波线性平滑：线

20、性平滑：m=1m=1平滑公式为平滑公式为系数由下式确定：系数由下式确定：01i tyAAt 021minmini ttAAty0100AA01012()0()0i tti ttAAtyAAtyt计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 25/372.3 实验数据的平滑滤波实验数据的平滑滤波三点线性平滑三点线性平滑 k=2n+1=3, n=1k=2n+1=3, n=1，t=-1,0,1t=-1,0,1解得系数：解得系数：10111011()0()0i tti ttAAtyAAtyt0111111()31() 2iiiiiAyyyA

21、yy计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 26/372.3 实验数据的平滑滤波实验数据的平滑滤波平滑公式为：平滑公式为：0101111611131111601(52) () (25)iiiiiiiiiiiiyyyyAAyyyyyAyAyAy简记为：简记为：)52()()25(101611101310101611yyyyyyyyyyyy01i tyAAt0111111()31() 2iiiiiAyyyAyy计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 27/372.

22、3 实验数据的平滑滤波实验数据的平滑滤波三点线性平滑权重系数表三点线性平滑权重系数表归一系数归一系数y-1y0y1y-1652-1y03111y16-125计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 28/372.3 实验数据的平滑滤波实验数据的平滑滤波五点线性平滑权重系数表五点线性平滑权重系数表归一系数归一系数y-2y-1y0y1y2y-253210-1y-11043210y0511111y11001234y25-10123计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun

23、 29/372.3 实验数据的平滑滤波实验数据的平滑滤波二次平滑：二次平滑：m=2m=2平滑公式为平滑公式为系数由下式确定：系数由下式确定：2012i tyAAtA t20122mini ttAAtA ty计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 30/372.3 实验数据的平滑滤波实验数据的平滑滤波五点二次平滑五点二次平滑 k=2n+1=5, k=2n+1=5, n=2n=2， t=-2,-1,0,1,2t=-2,-1,0,1,22201222201222220122()0()0()0i tti tti ttyAAtA tyA

24、AtA ttyAAtA tt计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 31/372.3 实验数据的平滑滤波实验数据的平滑滤波五点二次平滑权重系数表五点二次平滑权重系数表归一系数归一系数y-2y-1y0y1y2y-235319-3-53y-135913126-53y135-5612139y2353-5-3931计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 32/372.3 实验数据的平滑滤波实验数据的平滑滤波计计计算算算物物物理理理学学学Har

25、bin Institute of Technology Yangkun 33/372.3 实验数据的平滑滤波实验数据的平滑滤波归一系数归一系数y-3y-2y1y0y1y2y3y-342398-4-414-2y-242819166-4-74y-142-41619122-41y021-236763-2y1421-42121916-4y2424-7-4616198y342-241-4-4839七点三次平滑权重系数表七点三次平滑权重系数表计计计算算算物物物理理理学学学Harbin Institute of Technology Yangkun 34/372.3 实验数据的平滑滤波实验数据的平滑滤波2.3.3 matlab平滑函数平滑函数格式：格式： Z = smooth(Y, span, method)说明：说明：1.Z： 平滑后的数据向量平滑后的数据向量2.Y： 被平滑的数据向量被平滑的数据向量3.span： 平滑点