标准解读
《GB/T 8056-1987 数据的统计处理和解释 指数样本异常值的判断和处理》这一标准,主要针对在数据分析过程中遇到的指数分布样本中可能存在的异常值问题,提供了系统性的方法来识别这些异常值,并给出相应的处理策略。该标准适用于需要对数据进行精确分析与处理的各种领域,如科学研究、质量控制等。
首先,它定义了什么是异常值:在一组给定的数据集中,如果某个或某些观测值与其他大部分数据相比显得过于极端,则可被视为异常值。对于遵循指数分布的数据集来说,这类值的存在可能会严重影响到统计分析的结果准确性。
接着,标准介绍了一系列用于检测指数分布样本中是否存在异常值的技术手段,包括但不限于基于概率模型的方法(例如使用Grubbs' test或者Dixon's Q test)。这些测试通常会设定一个显著性水平(比如0.05),通过比较观测到的最大或最小值与理论上的临界值来决定是否将特定数据点标记为异常值。
此外,《GB/T 8056-1987》还讨论了当发现确实存在异常值时应采取何种措施。这些建议涵盖了从简单地删除异常值到采用更加复杂的数据调整技术等多个方面。值得注意的是,在实际操作中选择哪种方式取决于具体的应用场景以及研究人员的专业判断。
最后,本标准强调了在整个过程中保持透明度的重要性,即任何关于异常值识别及其后续处理的决策都应该被详细记录下来,以便于他人能够复现研究过程并对其结果进行验证。
如需获取更多详尽信息,请直接参考下方经官方授权发布的权威标准文档。
....
查看全部
文档简介
中华人民共和国国家标准
UDC引9.28
数据的统计处理和解释
指数样本异常值的判断和处理
GB8056一87
Statisticalinterpretationofdata
Detectionandhandlingofoutlyingobservations
inexponentialsample
1目的和应用范围
1.1本标准规定r在来自指数分布(单参数)的随机样木中判断和处理异常观测值的一般原则和实
施方法。适用于来自指数总体或近似指数总体的样本,即除了个别或少数异常值外,其余大部分数据
(主体数据)来自同一个指数总体或近似指数总体。指数分布的分布函数为:
尸(X)二{
1一e一^1
0
X>0
X‘U
(1)
概率密度函数为
,(X)={
1.2异常观测值(或称异常值)是指样木‘11
元e‘
X'>9
X、_u
..................·⋯⋯〔2)
0
的个别值,其数值明显偏离它(或它们)所在样本的
其余观测值。
1.2.1ii'常值可能仅仅是数据‘{,】州有的随机变异性的极端表现,若确是这样,就应把它和样木,},
其它观测值以同样的方式对待。
1.2.2异常值也可能是偶然偏离所规定的试验条件和试验方法的后果。或是在计算或记录这个数
值时出现的失误。这种异常俏与其它观测值不属]同一个总休。
2引用标准
GB3358-82《统计学名词及符号》
GB4086.1一4086.6-83((统计分布数值表》
3符号及其意义
X()—
n(刀〕—
”(飞)一一
”(”)—
万
nt飞)
a
T。)(1一a)-
71}〔:〕(a)
衬。(v,,v2)
观测值}j,自小到大的第f个观测仇。
样本大小,4a10。时,检验最大的观测值X(.)是否为异常值时所用的统计量。
样本大小。叹1000寸,检验最小的观测值X(1)是否为异常值时所用的统计量。
样木大小n>100时,检验最大的观测值刃(。。是否为异常值时所用的统计鼠。
样本大小。>100时,检验最小的观测值X(1〕是否为异常值时所用的统计Mo
检验的显著性水平。
显著性水平为a时,用统计量7’。(。)作检验时的临界值。
显著性水平为a时,用统计量7':u)作检验时的临界值。
自由度为u不口。2的F变星的p分位数。
六,.〔卫
定数截尾样本.},判断h〔1是否为异常小时所用的统计v%o
国家标准局1987一07一08批准
1988一04一01实施
GB8056一87
‘判断异常值的统计学原则
判断一个观测值是否为异常值时,通常可根据技术卜或物理L的理由ki接作出决定,例如当实脸
者已经知道实验偏离规定的实验方法,或测试仪器发生问题等等。当上述理由不明确时,可用统计方法。
4.1木标准在F述不同情祝下判断样本‘},的异常值:
单侧情形a):根据以往经验,异常值都为佰端值;
单侧情形b):根据以千}经验,异常值都为低端值;
双侧中韶(s.异常俏是在两端都可能出现的极端值。
4.2执行本标准时,应规定在样本中检出异常值的个数的卜限(占样木观测值个数的较小比例),
当超过了这个卜限时,对此样本的代表性,应作慎重的研究和处理。
4.3判断单个异常值的检验规则
4.3.1将所有观测值假设为来自同一总体的样本诸们,作为原假设;选定与实际情说相符的4.1中
的一种情况作为备择假没,而后根据统计学原理构造判断异常值的统计量。
4.3.2指定适当的显著性水平a,推荐的a值为1%,而不宜采用超过5%的a值。根据a及观测
值的个数。,确定统计4k的临界位。
4.3.3将该批数据代人统计u,所得统计io的俏超过临界值时,则判断事先待查的极端观测值为
异常;否则就判断没有异常值。
4.4判断多个异常值的检验规则
在允许检出异常Tk`1的个数可大于1的情Ik,本标准规定的方法是重复使用同一种判断单个异常俏
的检验规则,即用指定的显著性水平和符合4.3规定的检验规则检验全体观测值,若没有检出异常俏,则
铭个检验停11:;若检出了1个异常值,就再用相同的显著性水平和相同的规则,对除去已检出的异常
值后余下的观测值继续检验,直到没有检出异常值,或检出的异常值个数达到仁限为止。
5处理异常值的一般规则
5.1对卜用统计方法检出的异常值,应尽可能寻找其技术上的和物理上的原因,作为处理异常值
的依据。
5.2处理异常值的方式有:
a.异常值保留在样本中参加其后的数据分析。
b.允许剔除异常值,即把异常值从样本iti排除;
c.允许剔除异常值,并追加适宜的观测值计人样本。
d.在找到实际原因时修正异常值。
5.3标准使用者应根据实际问题的性质,权衡寻找产生异常值原因的花费,正确判断异常值的得
益及错误剔除正常观测fk5的风险,确定实施下述几个规则中的一个:
a.对O召可异常值,若无充分的技术上或物理上的原因,则不得剔除或进行修,[几。
‘.异常1All,除有充分的技术上或物理L的理由者外,在统计仁表现为高度异常的(即本标准规
定的显著性水平a下,为显著的观测值),才允许剔除或进行修正。
5.4被剔除或经修卜的观测仇及其理由,应予记录,以备查询。
6判断单个异常值的规则
6.1木标准规定,当样木大小。<100时,使用统计量Tn(n)(或Tn>>进行检验.当样本大小
n..-,100时,使用统if量Fd,n(n)(或F_(.))进行检验。
6.2单侧寸ilf,ia)的检验规则
6.2.1当样木大小二==_:100时,按卜法实施:
a.计算统计鼠T,〔,)的佑:
GB8056一87
一
T,。〕
X〔,〕
b.确定显著性水平。,在表A.1中查出对应
7.临界值T〔。)(1一a)时,判X(n)为异常值,
乏戈
f”,a的临界值Tn(。)
否则就判为没有异常值
(1-a).当T}cn)的值大
6.2.2当样本大小。)100时,按下法实施:
a.计算统计量En(n)的值:
F'(。、
(n一1)CX(。)犬〔,1))
(a)
EX一〔从}>-A'(n
畜,1
b.确定显著性水平a,在F变量的分位数表中,查出对应
当F。。)的值大于F一。(2,2。一2)时,判x(。)为异常侦,
6.3).侧情形b)的检验规则
6.3.1当样本人小。<100时,按下法实施:
a.计算统计量Tn(,)的值:
1)〕
1'n,a的临界值FI_。(2,2”一2)。
否则就判为没有异常值。
Tn(i)
X门)
—·············。·。·。。····,··············⋯⋯(5)
艺戈
b.
界值T
确定显著性水平a,在表A2中查出对应于。,a的临界值Tn(:)(a)。当Tn(,)的植小F临
6.3.2
z}(a)时,判X(I)为异常值,否则就判为没有异常值。
当样本大小。>100时,按「法实施:
a.计算统计量En},,的值:
n(”一1)X(1)
Fnci)二—······························一〔6)
艺k;一。X〔!)
b.确定显著性水」“,在F变璧的分位数表,{,查出对应」一。,a的临界仇Fu(2,2。一2)。
当Fn、。的值小」:临界值Fn(2,2。一2)时,判万、1)为异常值,否则就判为没有异常值。
6.4双侧情形的检验规则
6.4.1当样木大小nx;100时,按下法实施:
i十算统计量Tn(,、,T.(,)的值。
确定显著性水平a,在表A1it,杏出对应于八,号的临界值了。(。,(1
一号,
;在表AZ};
查出对应于。,号的临界值丁·‘,
〕
c.计算样本均值:
万二告典;
(7)
d.当e
Y,上)
Y,ucI,
Y十七丫
1,Tcu<Tu)
(号,时,
判X(l)为异常值;
当eY+e
Y,川
e、_1,
T。。)户71,(。)(1
一号,时,
判X(n)为异常值,否则就到为没
自异常俏。
GB8055一.7
.4.2当样本大小”>100时,按下法实施:
计算统计量E(。),E。(。的值。
确定显著性水平a,在尸变量的分位数表中,杳出对应于”,
号的临界值F
0(2,2”一2)
2
么叹
和F一a(2z
2”一2)。
c.计算样本均值
X=李ix,············...··.···.····..............⋯⋯(8)
T口11
d.当
I"I
e1
}a)
夕1,E(1)<F.(2,2n~2)时,判X(})为异常值;
犬ugxc,}
当e‘十e二<1,E()>Fl号(2,2”一2)时,判X(})为异常值,否则就判
为没有异常值。
6.5不例
例1.从指数总体中抽取样本大小为15的样本,经测量后得到观测值如卜:
0.21500.38931.48491.03490.2984
0.60045.10200.13811.23492.3182
0.48930.86820.72540.06671.8182
其中最大的观测值X(i5)=5.1020偏离其它观测值较大,问5.102。是否为异常值,取a--0.01进行Pjwo
样木大小。=15,计算得T15(ls)
T
二0.3040。由表A1杳得
15(15)(1一0.01)二0.4070
因为T15(15)<T15(,:,(1一0.01),故不能M5.1020为异常值。
例2·从一指数总体中得到‘。‘个观侧值,得到=1戈“‘。100,最小的观测值X
c1)
二0.04,在
显著性水平a二0.05,
样本大小。=101,
检验X(1)=0.04是否为异常值。
计算得E1o1(1)=0.04,由F变量的分位数表可知
1,'0.05(2,2n一2)=0.05
因为E101(1)<Fo.o5(2,2。一2),故判X(1)=0.04为异常值。
7判断多个异常值的规则
当样本中可能有多个异常值需要检验时,
单侧情形a),b)和v侧情况分别按6.2,6.
按照4.4的规则执行,具体判断异常值的方法,可根据
3和6.4的步骤实施。
定数截尾(右边)样本中最小的观测值X(,)是否为异常小的统计判断准则
测8.f91rt
1定数截尾(右边)样本。从总体中抽取。个个体,按数值由小到大的次序排列,取其前r个观
X(1)<X(2)喊⋯<X(.)
1<r喊n一1
GB8058一87
县.之判断定数截尾样本中最小观侧值X(2)是否为异常小时,按下法实施:
8.2.1计算统计量E}.,(I)的值。
E二,,
n(r一1)X(,〕
(1)二—
⋯〔9)
2:X()+(。一r)X(r)一。X〔、)
8.2.2
当E,
288
确定显著性水平a,在F变量的分位数表中,查出对应于r,a的临界值F(2,2。一2)。
、,)小于Fa(2,2r一2)时,判X<<}为异常小,否则判X},)为非异常值。
GB8056一87
附录A
(#卜充件)
表AIT〔。的临界值表
0.9s0.975O.99
0.99.5
0.9749
0,8708
口.7680
0.6839
0.6162
0.5611
0.5157
0.4776
0.4450
0.4168
0.3923
0.3708
0.3516
0.3346
0.3191
0.3052
0.2926
0.2810
0.2703
0.206
0.2515
0.2431
0.2353
0.2280
0.2212
0,2147
0.2088
0.2032
0.1978
0.1928
0.1880
0.1834
0.1792
0,9874
0.9087
0.8157
0.7341
0,6659
0.6088
.::;:
0.4862
0.4557
0.4293
0.4062
0.3856
0.3668
0.3499
0.3347
0.3207
0.3080
0.2966
0.2857
0.2760
0.2667
0.2580
0.2501
0.2425
0.2354
0.2288
0.2226
0.2168
0.2112
0.2060
0.2009
0.1963
0.9950
0.9425
0.8640
0.7884
0.7216
0.6639
0.6147
0.5724
0.5361
::::;
0.4499
0.4273
0.4070
0.3885
0.3719
0.3566
0.3422
0.3297
0.3180
0.3069
0.2965
0.2870
0.9974
0.9590
0.8927
0.8227
0.7582
0.7011
0.6508
0.6076
0.5701
0.5363
0.5074
0.4808
0.4570
0.4355
0.4160
0.3985
0.3818
:.:;:;
:.::::
0.2477
0.2413
0.2348
0.2292
0.2236
0.2182
0.3668
0.3533
0.3415
0.3293
0.3183
0.3082
0.2992
0.2903
0.2814
0.2738
0.2662
0.2593
0.2525
0.2458
0.2402
0.2346
23峨户。67吕91011此1314巧1617比1920刽咒邓朋2526罗洲朋303132洲服
艺89
GB8056一87
续表A1
(1950.975
0.990.995
0.1751
0.1711
0.1675
0.1640
0.1605
0.1573
0.1542
0.1513
0.L484
0.1457
0.1431
0.1406
0.1381
0.1357
0.1335
0.1313
0.1292
0.1272
0.1252
0.1233
0.1214
0.1196
0.1179
0.1163
0.1146
0.1130
0.1115
0.1100
0.1086
0.1071
0.1058
0.1045
0.1032
0.1019
0.1007
0.0995
0.0983
0.0972
0.0960
0.1918
0.1876
0.1835
0.1796
0.1757
0.1722
0.1689
0.1655
0.1624
0.1594
0.1566
0.1537
0.1511
0.1484
0.1459
0.1436
0.1412
0.1390
0.1369
0.1348
0.1327
0.1308
0.1289
0.1270
0.1252
0.1235
0.1218
0.1202
0.1186
0.1170
0.1155
0.1141
0.1126
0.1112
0.2131
0.2088
0.2040
0.1997
0.1956
0.1914
0.1878
0.1839
0.1804
0.1774
0.1739
0.1709
0.1677
0.1651
0.2291
0.2243
0.2193
0.2145
0.2103
:.::一:
0.1099
0.1086
0.1073
0.1060
0.1048
0.1621
0.1596
0.1569
0.1543
0.1518
0.1497
0.1473
0.1451
0.1430
0.1411
0.1390
0.1370
0.1351
0.1333
0.1316
0.1298
0.1281
0.1265
0.1250
0.1233
0.1220
0.1203
0.1190
0.1176
0.1161
0.1979
0.1940
0.1905
0.1868
0.1834
0.1800
0.1773
0.1743
0.1716
0.1683
0.1657
翁筋37朋洲胡4142们润朽弱4748拍5051
0.1629
0.1608
0.1582
0.1561
0.1536
0.1515
0.1494
0.1174
0.1453
门1432
0.1412
0.1394
0.1374
0.1358
0.1340
0.1324
0.1306
0.1291
0.1278
0.1260
0.1244
曰别弘浙盯58洲6061能韶创656667686970717273
29()
CB8056一87
续表A1
力日,95
0.9750.990.995
74
75
76
77
78
79
8O
81
82
83
84
85
日6
87
88
89
90
91
92
93
94
95
96
97
99
99
100
0.0950
0.0939
0.0929
0.0919
0.0909
U.0899
0.0890
0.0881
0.0872
0.0863
0.0854
0.0846
0.0837
0.0829
0.0821
0.0813
0.0806
0.0799
0.0791
0.0784
0.0777
0.0770
0.0763
0.0757
0.0750
0.0744
0.0737
0.1036
0.1024
0.1013
0.1002
0.0991
0.0980
0.0970
0.0960
0.0950
0.0940
0.0931
0.0922
0.0912
0.0904
0.0894
0.0886
0.0878
0.0870
0.0862
0.0854
0.0846
0.0839
0.0831
0.0824
0.0816
0.0810
0.0802
0.1148
0.1136
0.1123
0.1110
0.1098
0.1085
0.1074
0.1063
0.1053
0.1042
0.1031
0.1020
0.1010
0.1000
0.0990
0.0981
0.0972
0.0962
0.0953
0.0945
0.0937
0.0927
0.0919
0.0911
0.0903
0.0895
0.0888
fl.1231
0.1219
0.1203
0.1190
0.1177
0.1164
0.1152
0.1139
0.1128
0.1115
0.1105
0.1094
0.1082
0.1072
0.1061
0.1050
0.1042
0.1033
0.1022
0.1014
0.1004
0.0994
0.0984
11.0976
0.6968
0.0960
0.0952
表A2T川的临界俏农
().幻050.01
0.0250.115
2.4868,10
8.2006x10
4.1005x!0
2.5468x10
1.6554x10
1.1716x10
8.914x10
5x10
1.6709x10
8.3612x10
5.0189.10
3.3467x10
2.3909,10
1.7934x10
1.2496x10
4.1999x10
2.0983x10
1.2601x10
8.4336x10
6.0283x10
4.5071x10
2.5x10
8.4402x10
4.2381.x10
2.5483x10
1.7010.10
1.2161x10
9.1260x川
291
GB8056一87
续表A2
0.01飞50.010.0250.()5
6.961x10
5.526-10」
4.537x10,
3.778x10,
3.173x10-
2.710x10-'
2.393x10,
2.116x10,
1.842x10,
1.626x10,
1.459x10-
1.298x10,
1.199x10,
1.087x10
9.85x10"
9.12x10-"
8.25x10"
7.63x10-"
7.06x10-s
6.63-10-'
6.13x10"
5.77x10-"
5.33x10
5.07x10-"
4.77x10-"
4.49x10-'
4.14x10"
4.02x10-"
3.70x10“
3.60x10-"
3.39x10-"
3.23x10-"
3.03x10-"
2.96x10”
2.78x10-0
2.65x10,
2.48x10-"
2.43x10"
2.31x10'
1.3950x10
1.1161x10
9.1321x10
7.6104x10
6.4398x10
5.5200x10
4.7842xIII
4.1862x
:.::::x10
2.9379x10
2.6441x10
2.3923x10
2.1749x10
1.9858x10
1.8203x10
1.6747x10
1.5459x10
1.4314-10
1.3292x10
1.2375x10
1.1550x10
1.0805x10
1.()130x10
9.5159x10
8.9562-10
8.4444x10
7.9753x10
7.5442x10
7.1472x10
6.7807x10
6.4417x10
6.1275x10
5.8357x10
5.5643x10
5.3114x10
5.0753x10
4.8547x10
4.6481x10
3.5029x10
2.8063x10
2.2966x10
1.9164x10
1.6201x10
1.3953x10
1.2089x10
1.0537x10
9.333x10
8.290x10
7.398x10、
6.658x10-
6.026x10
5.474x10'
4.982x10
4.572x10,
4.206x10,
3.887x10。
3.603x10‘,
3.356x10。
3.126xl0,
2.902x10-5
2.727x10,
2.553x10'
2.399x10“
2.254x10
2.132x10
2.016x10,
1.906x10-
1.802x10-
1.703x10,
1.622x10
1.539x10,
1.473x10,
1.402x10,
1.342x10
1.273x10
1.222x10,
1.169x10,
7.1013x10
5.6830,10
4.6511x10
3.8768x10
3.2810x10
2.8128-10
2.4381x10
2.1336,10
1.8828x10
1.6737,10
1.4977x10
1.3480x10
1.2197x10
1.1089x10
1.0125x10
9.2819x10
8.5398x10
7.8832x10
7.2995x10
6.7784x10
6.3111x10
5.8906x10
5.5107x10
5.1664xl0
4.8534x10
4.5680x10
4.3701x10
4.0679-10
3.8481x10
3.6456-10
3.4588x10
3.2859x10
3.1256x10
2.9768x10
2.8384x10
2.7094x10
2.5891x10
2.4765x10
2.3712x10
9川二1213曰巧民17阴19即别22路21托2627邓约30肌32朋34肠肠盯朋劝川妇花招刊朽拐打
292
GB8056一87
续表A2
0.0050.010.0250.05
2.20x10-"
2.12x10‘
2.08.10“
1.94x10'
1.90x10"
1.81x10-0
1.78x10'
1.66x10'
1.63x10-'
1.55.10-'
1.49x10-'
1.46-10-'
1.44x10‘
1.35.10-'
1.34x10‘
1.27-10'
1.23-10-'
1.21x10'
1.14x10-'
1.13x10-
1.11-in-0
4.4545x10
4.2727x10
4.1018x10-
3.9409x10'
3.7893x10`
3.6464x10-
3.5113x10'
3.3836x10'
3.2628x10-'
3.1483x10'
3.0398-10'
2.9367x10-'
2.8388x10-'
2.7458x10-'
2.6572x10-'
2.5728x10-'
2.4924x10-'
2.4158x10-"
2.3426x10‘
2.2726x10‘,
2.2058x10'
2.1419x10-'
1.124x10
]079-10
1.033x10
9.91x10
9.54x10
9.17x10
8.86x10
8.50x10
1.05x100
1.04x10-02.0807x
9.9.10
9.8x10'
9.7x10‘
9.1X10-7
9.0x10‘
8.7x10`
8.5x10-'
8.4x10-7
7.9x10-'
7.8x10-
7.7x10-
7.5x10’
7.2x10-
7.1x10-7
7.0x10'
6.7x10-'
:.:::;x10
1.9120x10-"
1.8604x10"
1.8107-10.,
1.7631.10-'
1.7173x10-e
1.6733x10-"
1.6309x10-"
1.5901x]0-"
1.5509x10
1.5131x10-0
1.4766-10-'
1.4414-10-'
1.4075x10"
1.3748x10-
8.21x10
7.95x10
7.68x10
7.41x10
7.16x10
6.92x10
6.68x10
6.50x10
6.27x10
6.lox10
5.89x10
5.73x10
5.53x10
5.38.10
5.22x10
5.08.10
4.94x10
4.81x10
4.68x10
4.57x10
4.45x10
4.31x10
4.20x10
4.11x10
3.99x10
3.89x10
3.82x10
3.72X10
3.63x10
3.55x10
3.46x10
2.2724x10
2.1797x10
2.0925x10
2.0105x10
1.9332x10
1.8602x10-
1.7914x10
1.7262x10
1.6646x10
1.60
温馨提示
- 1. 本站所提供的标准文本仅供个人学习、研究之用,未经授权,严禁复制、发行、汇编、翻译或网络传播等,侵权必究。
- 2. 本站所提供的标准均为PDF格式电子版文本(可阅读打印),因数字商品的特殊性,一经售出,不提供退换货服务。
- 3. 标准文档要求电子版与印刷版保持一致,所以下载的文档中可能包含空白页,非文档质量问题。
最新文档
- 《客房服务管理》课件
- 《孟非的激励人生》课件
- 《实验室管理》课件
- 2024-2025学年浙江省9+1联考高一上学期期中考试历史试题(解析版)
- 单位管理制度集合大合集【人事管理】十篇
- 单位管理制度集粹汇编【人力资源管理篇】
- 单位管理制度汇编大合集职员管理篇
- 单位管理制度合并汇编人力资源管理篇十篇
- 《汉字的结构特点》课件
- 单位管理制度范例选集【员工管理篇】
- 《YST 550-20xx 金属热喷涂层剪切强度的测定》-编制说明送审
- 江西省上饶市2023-2024学年高一上学期期末教学质量测试物理试题(解析版)
- 2024年财务风险评估和控制培训资料
- 2024建筑消防设施检测报告书模板
- 儿童流行性感冒的护理
- 万科保安公司测评题及答案
- 揭露煤层、贯通老空专项安全技术措施
- 医美项目水光培训课件
- 个人在工作中的服务态度和客户满意度
- 部长述职答辩报告
- 2024年中国航空油料集团公司招聘笔试参考题库含答案解析
评论
0/150
提交评论