任务三离群值的检验与数据样本之间显著性检验

情境一：分析测试的质量保证任务三：离群值的检验与数据样本之间显著性检验知识点1：离群值概述课程：分析检验的质量保证与认证一、离群值有关概念

离群值：数据样本中的一个或几个观测值，它们离开其他观测值较远，暗示它们可能来自不同的总体。

离群值按显著性水平分为歧离值和统计离群值。

显著性水平是估计总体参数落在某一区间内，可能犯错误的概率，用α表示。检出水平（α）：为检出离群值而指定的统计检验的显著性水平，和大多数检验一样，α一般为0.05。剔除水平（α*）：为检出离群值是否高度离群而指定的统计检验的显著性水平。剔除水平α*的值应不超过检出水平α的值。除非根据GB/T4883-2008达成协议的各方另有约定，α*值应为0.01。

歧离值：在检出水平下显著，但在剔除水平下不显著的离群值。

统计离群值：在剔除水平下统计检验为显著的离群值。

一、离群值有关概念

离群值：在α下统计检验显著数据样本歧离值：在α下统计检验显著，在α*下统计检验不显著统计离群值：在α和α*下统计检验均显著1.总体固有变异的极端表现，这是真实而正常的数据。2.由于试验条件和实验方法的偶然性，或观测、记录、计算时的失误所产生的结果，是一种非正常的、错误的数据，这些数据与其余观测值不属于同一总体。二、离群值产生的原因大致有两点

GB/T4883-2008在下述不同情形下判断样本中的离群值：a)上侧情形：根据实际情况或以往经验，离群值都为高端值；b)下侧情形：根据实际情况或以往经验，离群值都为低端值；上侧情形和下侧情形简称单侧。c)双侧情形：根据实际情况或以往经验，离群值可为高端值，也可为低端值。三、离群值的三种情形1.检出离群值个数的上限

应规定在样本中检出离群值个数的上限（与样本量相比应较小），当检出离群值个数超过了这个上限时，对此样本应作慎重的研究和处理。2.单个离群值情形a.依实际情况或以往经验选定，选定适宜的离群值检验规则（后面讲到）；b.确定适当的显著性水平；c.根据显著性水平及样本量，确定检验的临界值；d.由观测值计算相应统计量的值，根据所得到值与临界值的比较结果作出判断。四、离群值的判断3.判定多个离群值的检验规则

在允许检出离群值的个数大于1的情况下，重复使用单个离群值情形规定的检验规则进行检验。

若没有检出离群值，则整个检验停止；

若检出离群值，当检出的离群值总数超过上限时，检验停止，对此样本应慎重处理；

否则，采用相同的检出水平和相同的规则，对除去已检出的离群值后余下的观测值继续检验。四、离群值的判断1.离群值处理方式a)保留离群值，并用于后续数据处理；b)在找到实际原因时修正离群值，否则予以保留；c)剔除离群值，不追加观测值；d)剔除离群值，并追加新的观测值或用适宜的插补值代替。五、离群值处理方式、规则2.处理规则权衡判定原因所需代价、正确判定得益及错误剔除风险:a)若在技术和物理找到产生离群值原因,则应剔除或修正.若未找到物理和技术的原因,则不得剔除或修正。b)若在技术或物理找到产生离群值原因,则应剔除或修正;否则,保留歧离值,剔除或修正统计离群值,在重复使用同一检验规则检验多个离群值情形,每次检出离群值,均再检验它是否为统计离群值.若每次检出的离群值为统计离群值,则此离群值及在它前面检出的离群值(含歧离值)均被剔除或修正。c)检出的离群值(含歧离值)都应被剔除或进行修正。五、离群值处理方式、规则3.备案

被剔除或修正的观测值及其理由应予记录，以备查询。如果检验统计量大于5%临界值，但小于或等于1%临界值，则称被检验的项目为歧离值，且用单星号(*)标出；如果检验统计量大于1%临界值，则称被检验的项目为统计离群值，且用双星号(**)标出。[GB/T6379.2—2004]。五、离群值处理方式、规则情境一：分析测试的质量保证任务三：离群值的检验与数据样本之间显著性检验知识点2：离群值的判断规则课程：分析检验的质量保证与认证一、已知标准差的奈尔检验

二、已知标准差的奈尔检验离群值的判断规则1.上侧情形否则判断未发现x(n)是统计离群值即x(n)为歧离值判定x(n)为离群值否则判断未发现x(n)是离群值判定x(n)为统计离群值Rn>R1-α(n)

剔除水平α*,𝑛。表A.1临界值R1-α*(n)

二、已知标准差的奈尔检验离群值的判断规则2.下侧情形否则判断未发现x(1)是统计离群值即x(1)为歧离值判定x(n)为离群值否则判断未发现x(1)是离群值判定x(1)为统计离群值

剔除水平α*,𝑛。表A.1临界值R1-α*(n)

二、已知标准差的奈尔检验离群值的判断规则3.双侧情形判定x(n)为统计离群值判定x(n)为离群值判断x(1)为离群值

判定x(1)为统计离群值前三者均不符

判断未发现离群值同时对最大值和最小值进行检验

剔除水平α*,𝑛。表A.1临界值R1-α*/2(n)

否则判断未发现x(1)、x(n)是统计离群值即x(1)、x(n)为歧离值

4.例题

考查某分析数据，得25个样品，其数值排列为（单位%）：3.13,3.49,4.01,4.48,4.61，4.76,4.98,5.25,5.32,5.39,5.42,5.57,5.59,5.59,5.63,5.63,5.65,5.66,5.67,5.69,5.71,6.00，6.03,6.12,6.76。已知在正常条件下，测试量服从正态分布，已知σ=0.65，现考查下侧的异常值。规定至多检出三个离群值，采用下侧情形的处理方式。三、奈尔(Nair)检验法例题

三、奈尔(Nair)检验法例题n90%95%97.50%99%99.50%n90%95%97.50%99%99.50%31.4971.7381.9552.2152.396142.3522.5892.8063.0723.26141.6961.4912.1632.4312.618152.3822.6172.7423.0993.28751.8352.082.3042.5742.764162.4092.6442.863.1243.31261.9392.1482.4082.6792.87202.52.7322.9453.2073.39272.0222.2672.492.7612.952232.5552.7842.9963.2563.4482.0912.3342.5572.8283.019242.5712.83.0113.273.45592.152.3922.6132.8843.074252.5872.8153.0263.2843.468102.22.4412.6622.9313.122302.6562.8813.0893.3453.527112.2452.4842.7042.9733.163402.7592.983.1843.4363.616122.2842.5232.7423.013.199502.8363.0533.2553.5043.681132.322.5572.7763.0433.2321003.0613.2683.463.6993.871GB/T4883-2008A1奈尔检验的临界值表(部分)三、奈尔(Nair)检验法例题

三、奈尔(Nair)检验法例题

三、奈尔(Nair)检验法例题

三、奈尔(Nair)检验法例题

三、奈尔(Nair)检验法例题4.例题

本例检出3.13和3.49是离群值，其中3.13统计离群值，3.49是歧离值。应参照前面规定的规则(根据标准的规定)考虑是否剔除。三、奈尔(Nair)检验法例题未知标准差情形离群值的判断规则（限定检出离群值的个数为一个和超过1个）请自学。简单的说一句就是按过程做就成。四、其它情境一：分析测试的质量保证任务三：离群值的检验与数据样本之间显著性检验知识点5：数据样本之间显著性检验课程：分析检验的质量保证与认证假设检验(1)先假设总体某项假设成立，计算导致啥结果产生。若导致不合理现象产生，则拒绝原先的假设。若并不导致不合理的现象产生，则不能拒绝原先假设，从而接受原先假设。(2)它又不同于一般的反证法。所谓不合理现象产生，并非指形式逻辑上的绝对矛盾，而是基于小概率原理：概率很小的事件在一次试验中几乎是不可能发生的，若发生了，就是不合理的。。一、基本原理

至于怎样才算是“小概率”呢？通常可将概率不超过0.05的事件称为“小概率事件”，也可视具体情形而取0.1或0.01等。

在假设检验中常记这个概率为α，称为显著性水平。而把原先设定的假设成为原假设，记作H0。把与H0相反的假设称为备择假设，它是原假设被拒绝时而应接受的假设，记作H1。一、基本原理

二、T检验1.T检验亦称studentt检验

主要用于样本含量较小(例如n<30)，总体标准差σ未知的正态分布资料。比较样本均数所代表的未知总体均数μ和已知总体均数μ0。

适用条件：(1)已知一个总体均数；(2)可得到一个样本均数及该样本标准差；(3)样本来自正态或近似正态总体。二、T检验

二、T检验2.T检验的步骤

二、T检验2.T检验的步骤(3)根据自由度df=n-1，查T理论值表，找出规定的T理论值并进行比较。理论值差异的显著水平为0.01级或0.05级。不同自由度的显著水平理论值记为T(df)0.01和T(df)0.05(4)比较计算得到的T值和T理论值，推断发生的概率，依据下表给出的T值与差异显著性关系表作出判断。(5)根据是以上分析，结合具体情况，作出结论。二、T检验2.T检验的步骤二、T检验表1-3T值与差异显著性关系表2.T检验的步骤Tp值差异显著程度差异非常显著差异显著p

>0.05差异不显著二

、T检验

1.F检验F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差s2，以确定他们的精密度是否有显著性差异。

至于两组数据之间是否存在系统误差，则在进行F检验并确定它们的精密度没有显著性差异之后，再进行t检验。三

、F检验

三、F检验三、F检验F检验的步骤f大f小2345678910∞2345678910∞19.09.556.945.795.144.744.464.264.103.0019.169.286.595.414.764.354.073.863.713.6019.259.126.395.194.534.123.843.633.482.3719.309.016.265.054.393.973.