正态样本异常值的判断和处理

关于正态样本异常值的判断和处理第1页，讲稿共29页，2023年5月2日，星期三异常值（或异常观测值）是指样本中的个别值，其数值明显偏离它（或它们）所属样本的其余观测值。异常值可能是总体固有的随机变异性的极端表现。这种异常值和样本中其余观测值属于同一总体。异常值也可能是由于试验条件和试验方法的偶然偏离所产生的后果，或产生于观测、计算、记录中的失误。这种异常值和样本中其余观测值不属于同一总体。第2页，讲稿共29页，2023年5月2日，星期三应用条件：所考查样本中诸观测值(或经过一定的函数变换后得到的值），除了个别异常值外，其余大部分值（样本主体）来自同一正态总体或近似正态总体。第3页，讲稿共29页，2023年5月2日，星期三判断异常值的统计学原则本标准在下述不同情形下判断样本中的异常值：上侧情形：根据以往经验，异常值都为高端值；下侧情形：根据以往经验，异常值都为低端值；双侧情形：异常值是在两端都可能出现的极端值。注：上侧情形和下侧情形统称单侧情形。第4页，讲稿共29页，2023年5月2日，星期三判断单个异常值的检验规则根据实际情况，选定适宜的异常值检验规则；指定为检出异常值的统计检验的显著性水平α，简称检出水平；根据α和观测值个数n确定统计量的临界值；将各观测值代入检验规则中给出的统计量，所得值若超过临界值，则判断事先确定待查的极端观测值为异常值；否则就判断“没有异常值”。检出水平α的宜取值是5%，1%（或10%）。第5页，讲稿共29页，2023年5月2日，星期三判断多个异常值的检验规则在允许检出异常值个数可大于1的情形，本标准规定的方法是重复使用同一种判断单个异常值的检验规则，即用指定的检出水平和符合2.3规定的规则首先检验全体观测值，若不能检出异常值，则整个检验停止；若检出一个异常值，就再用相同的检出水平和相同的规则，对除去已检出的异常值后余下的观测值继续检验……直到不能检出异常值，或检出的异常值个数超过上限为止。第6页，讲稿共29页，2023年5月2日，星期三处理异常值的一般规则对检出的异常值，应尽可能寻找产生异常值的技术上的、物理上的原因，作为处理异常值的依据。处理异常值的方式有：异常值保留在样本中参加其后的数据分析；允许剔除异常值，即把异常值从样本中排出；允许剔除异常值，并追加适宜的观测值计入样本；在找到实际原因时修正异常值。第7页，讲稿共29页，2023年5月2日，星期三a.对任何异常值，若无充分的技术上的、物理上的说明其异常的理由，则不得剔除或进行修正。b.异常值中除有充分的技术上的、物理上的说明其异常的理由外，表现统计上高度异常的，也允许剔除或进行修正，其意义是：指定为判断异常值是否高度异常的统计检验的显著性水平α*，简称剔除水平，其值小于检出水平α；实施时，按2.3规定进行检验后，立即对检出的异常值，再按2.3规定以剔除水平α*代替检出水平α进行检验，若在剔除水平下此检验是显著的，则判第8页，讲稿共29页，2023年5月2日，星期三此异常值高度异常。在重复使用同一检验规则的情况下，每次检出了异常值后都要检验它在剔除水平下是否高度异常。若某次检验中检出的异常值为高度异常，则这个异常值及其它前面检出的异常值都可被剔除或进行修正。除特殊情况外，剔除水平一般采用1%或更小，而不宜采用大于5%的值。在选用剔除水平的情况下，检出水平可取5%或再大些。c.检出的异常值都可被剔除或进行修正。第9页，讲稿共29页，2023年5月2日，星期三未知标准差情形下判断和处理异常值的规则

----检出异常值的个数不超过1格拉布斯检验法1上侧情形检验法a.对于观测值x1,…xn,计算统计量

Gn=（x（n）-

）/s

的值，这里x（n）是最大观测值，和s是样本均值和样本标准差，即=（x1+…+

xn）/n,s=…;b.确定检出水平α，在表A2查出对应n，α的临界值G（1-α（

n））；

c.当Gn＞G（1-α（

n）），判最大值x（n）为异常值,

第10页，讲稿共29页，2023年5月2日，星期三

否则，判断“没有异常值”；d.在给出剔除水平α*的情况下，在表A2查出对应n，α*的临界值G（1-α*（

n））。当Gn＞G（1-α*（

n）），判断最大值x（n）高度异常；否则，判断“没有高度异常的异常值”。2下侧情形检验法与上侧情形检验法规则相同，但要使用统计量G′n=（-x（1））/s

代替Gn，要判断的是最小值x（1）。第11页，讲稿共29页，2023年5月2日，星期三3双侧情形检验法a.计算Gn和G′n的值；b.确定检出水平α，在表A2查出对应n,

α/2的临界值G（1-α/2（

n））；c.当Gn＞G′n，且Gn＞G（1-α/2（

n）），判断x（n）为异常值；当G′n＞Gn，且G′n＞G（1-α/2（

n）），判断x（1）为异常值；否则，判断“没有异常值”；第12页，讲稿共29页，2023年5月2日，星期三d.在给出剔除水平α*的情况下，在表A2查出对应n，α*的临界值G（1-α*（

n））。当Gn＞G′n,且Gn＞G（1-α*（

n）），判断x（n）高度异常；当G′n＞Gn，且G′n＞G（1-α/2（

n）），判断x（1）为异常值；否则，判断“没有高度异常的异常值”。第13页，讲稿共29页，2023年5月2日，星期三

使用格拉布斯检验法的示例例一、检验某种砖的一个交付批的10个样品的抗压强度数据（从小而大排列）4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0（单位：MPa）。检验最大值是否异常，取检出水平α=5%。计算=7.89s=2.704

G10=（x（10）-）/s=（14.0-7.89）/2.704=2.260

对n=10，G(1-α（10））=G0.95（10）=2.176，因G10＞G0.95（10），判断x（10）=14.0为异常值。第14页，讲稿共29页，2023年5月2日，星期三例二：我站在一工程鉴定中采用钻芯法评定一构筑物混凝土强度。测得19个芯样混凝土抗压强度为：26.7、27.6、29.9、30.5、31.7、31.9、33.3、33.3、33.5、34.8、34.8、35.0、35.0、35.3、35.7、36.0、38.2、40.5、61.3（单位：MPa）检验最大值是否异常，取检出水平α=5%，剔除水平α*=1%。计算=35.0S=7.197

G19=（X(19)-)/s=(61.3-35.0)/7.197=3.654

对n=19，G（1-α（19））=G0.95（19）=2.532，因G19＞G0.95（19），判断x（19）=61.3为异常值。第15页，讲稿共29页，2023年5月2日，星期三G(1-α*（19）)=G0.99（19）=2.854，因G19＞G0.99（19），判断x（19）=61.3高度异常，剔除。格拉布斯检验法重复使用：

n=18=33.5S=3.448G18=（40.5-33.5）/3.448=2.030G0.95（18）=2.504，因G18＜G0.95（18），判断没有异常值。第16页，讲稿共29页，2023年5月2日，星期三

表A2格拉布斯检验法的临界值表n90%95%97.5%99%99.5%31.1481.1531.1551.1551.15541.4251.4631.4811.4921.49651.6021.6721.7151.7491.76461.7291.8221.8871.9441.97371.8281.9382.0202.0972.13981.9092.0322.1262.2212.27491.9772.1102.2152.3232.387102.0362.1762.2902.4102.482112.0882.2342.3552.4852.564第17页，讲稿共29页，2023年5月2日，星期三n90%95%97.5%99%99.5%122.1342.2852.4122.5502.636132.1752.3312.4622.6072.699142.2132.3712.5072.6592.755152.2472.4092.5492.7052.806162.2792.4432.5852.7472.852172.3092.4752.6202.7852.894182.3352.5042.6512.8212.932192.3612.5322.6812.8542.968202.3852.5572.7092.8843.001212.4082.5802.7332.9123.031222.4292.6032.7582.9393.060232.4482.6242.7812.9633.087242.4672.6442.8022.9873.112252.4862.6632.8223.0093.135第18页，讲稿共29页，2023年5月2日，星期三n90%95%97.5%99%99.5%262.5022.6812.8413.0293.157272.5192.6982.8593.0493.178282.5342.7142.8763.0683.199292.5492.7302.8933.0853.218302.5632.7452.9083.1033.236312.5772.7592.9243.1193.253322.5912.7732.9383.1353.270332.6042.7862.9523.1503.286342.6162.7992.9653.1643.301352.6282.8112.9793.1783.316362.6392.8232.9913.1913.330372.6502.8353.0033.2043.343382.6612.8463.0143.2163.356392.6712.8573.0253.2283.369402.6822.8663.0363.2403.381412.6922.8773.0463.2513.393第19页，讲稿共29页，2023年5月2日，星期三n90%95%97.5%99%99.5%422.7002.8873.0573.2613.404432.7102.8963.0673.2713.415442.7192.9053.0753.2823.425452.7272.9143.0853.2923.435462.7362.9233.0943.3023.445472.7442.9313.1033.3103.455482.7532.9403.1113.3193.464492.7602.9483.1203.3293.474502.7682.9563.1283.3363.483512.7752.9643.1363.3453.491522.7832.9713.1433.3533.500532.7902.9783.1513.3613.507542.7982.9863.1583.3683.516552.8042.9923.1663.3763.524562.8113.0003.1723.3833.531572.8183.0063.1803.3913.539第20页，讲稿共29页，2023年5月2日，星期三标准还介绍了：已知标准差情形下判断和处理异常值的规则---奈尔（Nair）检验法或奈尔检验法的重复使用方法；未知标准差情形下判断和处理异常值的规则（Ⅰ）---检出异常值的个数不超过1，狄克逊检验法；未知标准差情形下判断和处理异常值的规则（Ⅱ）----检出异常值的个数上限超过1，偏度—峰度检验法和狄克逊检验的重复使用方法；

第21页，讲稿共29页，2023年5月2日，星期三狄克逊检验法1、单侧情形检验法

a、对于按大小排列的观测值x⑴≤x⑵≤…≤x(n),计算统计量

样本大小检验高端异常值检验低端异常值

n:3～7D=r10=

〔x(n)-x(n-1)〕/〔x(n)-x(1)〕D′=r′10=

〔x(2)-x(1)〕/〔x(n)-x(1)〕n:8～10D=r11=〔x(n)-x(n-1)〕/〔x(n)-x(2)〕D′=r′11=〔x(2)-x(1)〕/〔x(n-1)-x(1)〕第22页，讲稿共29页，2023年5月2日，星期三

样本大小检验高端异常值检验低端异常值

n:11～13D=

r21=〔x(n)-x(n-2)〕/〔x(n)-x(2)〕

D′=r′21=〔x(3)-x(1)〕/〔x(n-1)-x(1)〕n:14～30D=

r22=〔x(n)-x(n-2)〕/〔x(n)-x(3)〕

D′=r′22=〔x(3)-x(1)〕/〔x(n-2)-x(1)〕

b.确定检出水平α，在表A3查出对应n，α的临界值D1-α（n）；

c.检验高端值时，当D

＞D1-α（n），判断x（n）为异常值；检验低端值时，当D’

＞D1-α（n），判断x（1）为异常值；否则，判断“没有异常值”；

第23页，讲稿共29页，2023年5月2日，星期三d.在给出剔除水平α*的情况下，在表A3查出对应n，α*的临界值D1-α*（n）。检验高端值时，当D＞D1-α*（n），判断x（n）为高度异常；检验低端值时，当D′＞D1-α*（n），判断x（1）为高度异常；否则，判断“没有高度异常的异常值”；2、双侧情形检验法

a.计算D和D’的值；

b.确定检出水平α，在表A3’查出对应n,

α的临界值1-α（n）；第24页，讲稿共29页，2023年5月2日，星期三C、当D＞D’，D＞

1-α（n），判断x（n）为异常值；当D’＞D，D’＞

1-α（n），判断x（1）为异常值；否则，判断“没有异常值”；

d、在给出剔除水平α*的情况下，在表A3’查出对应n，α*的临界值1-α*（n）。当D＞D′，D＞

1-α*（n），判断x（n）为高度异常；当D′＞D，D’＞

1-α*（n），判断x（1）为高度异常；否则，判断“没有高度异常的异常值”。第25页，讲稿共29页，2023年5月2日，星期三使用狄克逊检验法的实例射击16发子弹，射程（自小到大排列）分别为：1125，1248，1250，1259，1273，1279，1285，1285，1293，1300，1305，1312，1315，1324，1325，1350（单位：m）

a、检验低端值是否异常。指定α=1%对n=16,使用D′=r′22=〔x(3)-x(1)〕/〔x(14)-x(1)〕=（1250-1125）/（1324-1125）=0.6614

因D0.99（16）=0.595，D′＞D0.99（16），故判断最小值1125为异常值。

第26页，讲稿共29页，2023年5月2日，星期三

b.双侧情形对n=16,计算D′=0.6614和

D=r22=〔x(16)-x(14)〕/〔x(16)-x(3)〕=（1350-1324）/（1350-1250）=0.26

由查表3′得0.99（16）=0.627。因r′22

＞

r22，