试验数据异常值的检验及剔除方法

1、目录摘要I.关键词I.1 弓I言.12异常值的判别方法.1.2.1 检验（3司 准则1.2.2 狄克松（Dixon）准WJ 2.2.3 格拉布斯（Grubbs）准贝U 2.2.4 指数分布时异常值检验3.2.5 莱茵达准则（PanT® 3.2.6 肖维勒准贝U （ Chauvenet） 4.3实验异常数据的处理4.4 结束语5.参考文献6.内江师范学院本科学年论文试验数据异常值的检验及剔除方法摘要:在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检 验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的 前提.本文

2、简述判别测量值异常的几种统计学方法， 并利用DPS软件检 验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者 用于实验的数据处理和分析.关键词：异常值检验；异常值剔除；DPS;测量数据I内江师范学院本科学年论文1引言在实验中，由丁测量产生误差，从而导致个别数据出现异常，往往导致结果 产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化 规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助丁提高实验精度.判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方 法、实验条件等过程，找出异常值出现的原因并予以剔除.利用计算机剔除异常值的

3、方法许多专家做了详细的文献 1报告.如王鑫，吴先 球，用Origin剔除线形拟合中实验数据的异常值； 严昌顺.用计算机快速剔除含 粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣 程度将体现在下文.2异常值的判别方法判别异常值的准则很多，常用的有 t检验（3S）准则、狄克松（Dixon）准 则、格拉布斯（Grubb准则等准则.下面将一一简要介绍.2.1 检验（3S）准则t检验准则乂称罗曼诺夫斯基准则，它是按t分布的实际误差分布范围来判别 异常值，对重复测量次数较少的情况比较合理.基本思想：首先剔除一个可疑值，然后安t分布来检验被剔除的值是否为异 常值.设样本数据为Xi,X

4、2,X3Xn，若认X为可疑值.计算余下n1个数据平均值1 n1 n,Xn 及标傕差 sn ，即 Xn= Z Xi，Sn=J Z 一乂“）n - 1 i 土i = j« n - 2 i 土i=j.然后，按七分布来判别被剔除的值X是否为异常值.若Xj -Xn>k（na ），则X为异常值，应予剔除，否则为正常值，应予以保留.其中：a为显著水平；n数据个数；k（n,a）为检验系数，可通过查表得到.2.2 狄克松（Dixon）准则设有一组测量数据Xi <x2苴乂3壬xn ,且为正态分布，则可能为异常值的测量数据必然出现在两端，即Xi或Xn.狄克松给出了不同样本数量n时检验统计量的计

5、算公式（见表1）.当显著水 平a为1%或5%时，狄克松给出了其临界值 Di a（n）.如果测量数据的检验统计量_? （ n ）D >Dj（n），则Xi为异常值，如果测量数据的检验统计量D' > Dj（n），则Xn为异常值.表1狄克松检验统计量计算公式为数据个数n统里DXi为可疑值DXn为可疑值D3 <n 苴7g -X）/（Xn -X）（Xn - 4）/ （Xn -Xi ）8 <n <iG（X2 Xi）/（Xn_Xi）（Xn -Xn）/ （Xn - X2）ii主n壬i3（X3 Xi） /（Xn-X ）（Xn Xn）/（Xn X2）i4 £n <

6、;30（X3 Xi） / （4n X ）（Xn -Xj）/（Xn - X3）2.3 格拉布斯（GrubbS）准则设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即Xi苴X2X3Xn ,可能为异常值的测量数据一定出现在最大或最小的数据中.若最小值Xi是可疑的，则检验统计量G =（X-Xi）/ s.式中X是均值、s是标准i ni nc差，即 X =_ Xi，S （Xi -X）.n i i. n -1 i z±对丁检验统计量G，格拉布斯导出了其统计分布，并给出了当显著水平a为i%或5%时的临界值G（iq）（n） .G（iq）（n）称格拉布斯系数，可通过抽查表得

7、到.当最小值Xi或最大值A对应的检验统计量G大丁临界值时，则认为与之对应的Xi或Xn为可疑异常值，应予以剔除2.4指数分布时异常值检验设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大 小顺序排歹0,即* < x2 M X3xn.检验最小值或最大值是否为异常值的检验方法 如下：nn当样本量nOO时，计算统计量Tn(n)=Xn/£ Xj及=X£ X,i _1=1对丁给定的显著水平a (通常取0.5)和样本数量n，通过查表得到Tn(n)及Tn 分别对应的临界值Tn(n)(1 -a)和Tn(a).若Tnn)A% )(1 -a)时，认为Xn为异常值； 若Tn&l

8、t;Tn(i)(a)时，认为Xi为异常值.n当样本容量n>100时，计算统计量En(n) = (n -1)(Xn - Xn_i) /也Xj+ X n_j )及 i UnEn(1) = n(n 1)X1 /( M Xi nX1) .i1对丁给定显著水平' a和样本数量n ,若En()n >2,2 2正=(n-1)(a1),则1判断Xn为异常值；若En(1) AF2,2n/,a =(n -1)(1 -a) -1，则判断R为异常值.2.5 莱茵达准则(PanTa)对丁实验数据测出值X1,X2,X3，Xn，求取其算术平均值；=1/n£ Xi及剩余 i=1误差值Vi =Xi

9、 -x ,然后求出其均方根偏差§ =(£ v2 / n -1)”2 .判别依据(假设v服从正态分布)：Xi-X A3CT，则X相对而言误差较大，应舍去；Xi-X壬3CT , X为正常数据，应该保留.有概率论统计可知，如果误差服从正要分布，误差大丁3。的观测数据出现的概率小丁 0.003,相当大丁 300次观测中有一次出现的可能.莱茵达准则只是进 行粗略的剔除，取舍的概率较小，可能将不合理的异常值保留.2.6 肖维勒准则(Chauvenet)次准则也是建立在实验数据服从正态分布.假设多次测量的n个测量值中， 数据的参与误差VAZq ,则剔除该数据.其中u =(£ v

10、2/n1)1/2 ,样品容量为n时的判别系数Zc<3,弥补了莱茵达准则的不足，故此准则优胜丁莱茵达准则，但条件更为苛刻.3实验异常数据的处理对丁测定中异常数据的处理，必须慎重考虑，不能凭预感任意删除或添加 . 应该从所学知识上考虑，异常值有时能反映试验中的某些新现象.这类“异常值”正深化人们对客观事物的认识，如果随意删除它，可能深入了解和发现新事物的 一次机会，那么对学者深入研究非常可惜.所以对任何异常数据都因首先在技术 上寻找原因，如果在技术上发现原因，理应舍去 .如在技术上无法作出判断，却 可在上述准则中发现其高度异常，也因舍弃.其中，运用DPS软件进行异常数据的检验与剔除特别方便，

11、 而且不许编写 程序，它融合了 SPSS表格和EXCELL表格，操作简单，实用性强.如图一下 为DPS数据处理系统对话框.,。畦数据处理添魏->坷".dps立件貌据隔搐敷据分析田槛设计国费统计分类数据统计兮业统计爰元分析数学相超逗尊学数佰分析时1日序列苴它菲It图一数据处理系统对话框只要执行菜单命令下的“数据分析一一异常值检验”弹出如图二下图的窗 口，然后进行选择检验分析方法及显著水平，点击确定即可 .图二用户对话框在测定中，有时发现个别数据离群严重，上述检验原则为异常值，但它与 其他测定值的差异在仪器的精度范围内，这种数据不应舍去，应予保留.而对丁一些分析而言，需要估计总体参数，异常数据一般都要舍去.对丁不同的之心度应作相应的处理，则要据实际情况而定 .4结束语由上述可知，用DPS软件进行异常值检验和剔除的过程简单、直观、快捷,适用丁大众学生进行各实验数据的处理和分析.将此软件运用丁实验教学，可以 使学生快速准确判断实验结果，也可以提高教学质量 .参考文献1 王鑫，吴先球.用Origin剔除线形拟合中实验数据的异常值J.山西师范大学学报，2