试验数据异常值的检验及剔除方法

1、目录摘要错误！未定义书签关键词错误！未定义书签1 引言错误！未定义书签2 异常值的判别方法错t!未定义书签检验（3S）准则错t!未定义书签狄克松（Dixon）准则错误！未定义书签格拉布斯（Grubbs）准则错误！未定义书签指数分布时异常值检验错t！未定义书签莱茵达准则（PanTa错误！未定义书签肖维勒准则（Chauvenet）错误！未定义书签3 实验异常数据的处理错t!未定义书签4 结束语错误！未定义书签参考文献错误！未定义书签试验数据异常值的检验及剔除方法摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证

2、原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DP欹件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析.关键词：异常值检验；异常值剔除；DPS测量数据1引言在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度.判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除.利用计算机剔

3、除异常值的方法许多专家做了详细的文献川报告.如王鑫，吴先球，用Origin剔除线形拟合中实验数据的异常值；严昌顺.用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文.2异常值的判别方法判别异常值的准则很多，常用的有t检验（3S）准则、狄克松（Dixon）准则、格拉布斯（Grubbs）准则等准则.下面将一一简要介绍.2.1检验（3S）准则t检验准则又称罗曼诺夫斯基准则，它是按t分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理.基本思想：首先剔除一个可疑值，然后安t分布来检验被剔除的值是否为异常值.设样本数据为Xi,X2,X

4、3LXn,若认Xj为可疑值.计算余下n1个数据平均值1n1n一2Xn1及标准差Sn1,即Xn1Xi,Sn1J（X21）n1i1,ijn2i1,ij.然后，按t分布来判别被剔除的值Xj是否为异常值.若|xjXn1kn,a）,则Xj为异常值，应予剔除，否则为正常值，应予以保留.其中：a为显著水平；n数据个数；k（n,a）为检验系数，可通过查表得到.2.2 狄克松(Dixon)准则设有一组测量数据XX2X3LXn,且为正态分布，则可能为异常值的测量数据必然出现在两端，即X1或xn.狄克松给出了不同样本数量n时检验统计量的计算公式(见表1).当显著水平a为1%或5%寸，狄克松给出了其临界值D1a(n)

5、.如果测量数据的检验统计量a(n)一.一一、.、.,.一,DDia(n),则Xi为异常值，如果测量数据的检验统计量DDia(n),则凡为异常值.表1狄克松检验统计量计算公式为数据个数n统计量DXi为可疑值DXn为可疑值D3n7(X2Xi)/(XnXi)(XnXni)/(XnXi)8n10(X2X)/(XniX)(XnXni)/(XnX2)11n13(X3Xi)/(Xn1X)(XnXn2)/(XnX2)14n30(X3Xi)/(Xn2Xi)(XnXn2)/(XnX3)2.3 格拉布斯(Grubbs)准则设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即XiX2X3L

6、Xn,可能为异常值的测量数据一定出现在最大或最小的数据中.n.n1ii(XiX).若最小值Xi是可疑的，则检验统计量G(xXi)/s.式中X是均值、s是标r一1n准差，即XXSnii对于检验统计量G,格拉布斯导出了其统计分布，并给出了当显著水平a为1%或5%寸的临界值G(in)(n).G(in)(n)称格拉布斯系数，可通过抽查表得到.当最小值Xi或最大值对应的检验统计量G大于临界值时，则认为与之对应的Xi或%为可疑异常值，应予以剔除2.4 指数分布时异常值检验设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即X1X2X3L2.检验最小值或最大值是否为异常值的检验方法

7、如下：nn当样本量n1。时，计算统计量工Xn/为及工X1/为i1i1对于给定的显著水平a(通常取)和样本数量n,通过查表得到及分别对应的临界值Tn(n)(1a)和Tn(a).若Tn(n)Tn(n)(1a)时，认为Xn为异常值；若Tn(l)Tn(a)时,认为X1为异常值.n当样本容量n1。时，计算统计量Eno.(n1)(441)/(x21)及i1nEn(1)n(n1)X1/(xnx).i11对于给定显著水平a和样本数量n,若En0nF2,2n2,1a(n1)(an11),则1判断Xn为异常值；若En(1)F2,251)a1,则判断改为异常值.2.5 莱茵达准则(PanTaj)_n对于实验数据测出

8、值x1,x2,x3,L,xn,求取其算术平均值x1/nxi及剩余i1误差值ViXiX,然后求出其均方根偏差(Vi2/n1)1/2.判别依据(假设v服从正态分布)：XiX3,则Xi相对而言误差较大，应舍去；XiX3,X为正常数据，应该保留.有概率论统计可知，如果误差服从正要分布，误差大于3的观测数据出现的概率小于，相当大于3。次观测中有一次出现的可能.莱茵达准则只是进行粗略的剔除，取舍的概率较小，可能将不合理的异常值保留.2.6 肖维勒准则(Chauvenet)次准则也是建立在实验数据服从正态分布.假设多次测量的n个测量值中，数据的参与误差|vjZc，则剔除该数据.其中(vi2/n1)1/2,样

9、品容量为n时的判别系数Zc3,弥补了莱茵达准则的不足，故此准则优胜于莱茵达准则，但条件更为苛刻.3实验异常数据的处理对于测定中异常数据的处理，必须慎重考虑，不能凭预感任意删除或添加.应该从所学知识上考虑，异常值有时能反映试验中的某些新现象.这类“异常值”正深化人们对客观事物的认识，如果随意删除它，可能深入了解和发现新事物的一次机会，那么对学者深入研究非常可惜.所以对任何异常数据都因首先在技术上寻找原因，如果在技术上发现原因，理应舍去.如在技术上无法作出判断，却可在上述准则中发现其高度异常，也因舍弃.其中，运用DPS软件进行异常数据的检验与剔除特别方便，而且不许编写程序，它融合了SPSSS格和E

10、XCEL乐格，操作简单，实用性强.如图一下为DP飘据处理系统对话框.图一数据处理系统对话框只要执行菜单命令下的“数据分析一一异常值检验”弹出如图二下图的窗口，然后进行选择检验分析方法及显著水平，点击确定即可.图二用户对话框在测定中，有时发现个别数据离群严重，上述检验原则为异常值，但它与其他测定值的差异在仪器的精度范围内，这种数据不应舍去，应予保留.而对于一些分析而言，需要估计总体参数，异常数据一般都要舍去.对于不同的之心度应作相应的处理，则要据实际情况而定.4结束语由上述可知，用DP欹件进行异常值检验和剔除的过程简单、直观、快捷，适用于大众学生进行各实验数据的处理和分析.将此软件运用于实验教学，可以使学生快速准确判断实验结果，也可以提高教学质量.参考文献1王鑫，吴先球.用Origin剔除线形拟合中实验数据的异常值J.山西师范大学学报，2003,17(1),5