非参数统计分析PPT

1、关于非参数统计分析2022/9/141第一张，PPT共八十九页，创作于2022年6月2022/9/142思考的要点 各种检验方法的思路 各种检验方法统计量的构造 各种检验方法的应用场合 在SAS与R中如何完成 第二张，PPT共八十九页，创作于2022年6月2022/9/143第一节 符号检验第二节 Cox-Stuart趋势检验 第三节 游程检验第四节 Wilcoxon符号秩检验第五节 正态记分检验第六节 与参数检验相对效率比较第三张，PPT共八十九页，创作于2022年6月2022/9/144符号检验的统计量为B=得正号的个数。 符号检验。设随机变量X1，Xn是从某个总体X中抽出的简单随机样本。

2、且分布函数F(X)在X=0是连续的。假设检验问题检验的统计量可以取B。 第一节 符号检验 在原假设为真的条件下，B服从参数为n和0.5的二项分布b(n,0.5)。由于原假设为真时，B应该不太大，也不太小，如果B太大或太小，应该拒绝原假设。第四张，PPT共八十九页，创作于2022年6月2022/9/145 精确的符号检验是指检验的p值是由精确的概率给出的。 我们利用正号和负号的数目，来检验某假设，这是一种最简单的非参数方法。 【例4】联合国人员在世界上71个大城市的生活花费指数(上海是44位，数据为63.5)按自小至大的次序排列如下。一、精确中位数的符号检验第五张，PPT共八十九页，创作于202

3、2年6月2022/9/146 有人说64应该是这种大城市花费指数的中位数，有人说64顶多是低位数（下四分位数），进行检验。数据如下： 122.4,109.4,105,104.6,104.1,100.6,100,99.3,99.1,98.2,97.5,95.2,92.8,91.8,90.8,90.3,89.5, 89.4,86.4,86.2,85.7,82.6,81,80.9,79.1,77.9, 77.7,76.8,76.6,76.2,74.5,74.3,73.9,71.7,71.2, 67.7,66.7,66.2,65.4,65.3,65.3,65.3,64.6,63.5, 62.7,60.

4、8,58.2,55.5,55.3,55,54.9,52.7,51.8, 49.9,48.2,47.6,46,45.8,45.2,41.9,38.8,37.7,37.5,36.5, 36.4,32.7,32.7,32.2,29.1,27.8,27.8第六张，PPT共八十九页，创作于2022年6月2022/9/147第七张，PPT共八十九页，创作于2022年6月2022/9/148 通常在正态总体分布的假设下，关于总体均值的假设检验和区间估计是用与t检验有关的方法进行的。然而，在本例中，总体分布是未知的。为此，首先看该数据的直方图从图中很难说这是什么分布。假定用总体中位数来表示中间位置，这意味着样

5、本点，取大于me的概率应该与取小于me的概率相等。所研究的问题，可以看作是只有两种可能“成功”或“失败”。 第八张，PPT共八十九页，创作于2022年6月2022/9/149符号检验的思路，记成功：X-0大于零，即大于中位数M，记为“+”；失败：X-0小于零，即小于中位数M，记为“-”。令 S+=得正符号的数目 S=得负符号得数目可以知道S+或S 均服从二项分布B（65，0.5）。则可以用来作检验的统计量。其假设为：第九张，PPT共八十九页，创作于2022年6月2022/9/1410关于非参数检验统计量需要说明的问题 在非参数检验中，可以得到两个相互等价的统计量，比如在符号检验中，得负号与得正

6、好的个数，就是一对等价的统计量，因为S+S-=N。那么我们在检验时应该用那个呢？约定选择统计量第十张，PPT共八十九页，创作于2022年6月2022/9/1411假设检验统计量S-=28是得负号的个数得正号的个数43。P-值检验的结果拒绝零假设结论中位数大于64第十一张，PPT共八十九页，创作于2022年6月2022/9/1412该检验R的代码 x-c(122.4,109.4,105,104.6,104.1,100.6,100,99.3,99.1,98.2,97.5,95.2,92.8,91.8,90.8,90.3,89.5, 89.4,86.4,86.2,85.7,82.6,81,80.9,

7、79.1,77.9, 77.7,76.8,76.6,76.2,74.5,74.3,73.9,71.7,71.2, 67.7,66.7,66.2,65.4,65.3,65.3,65.3,64.6,63.5, 62.7,60.8,58.2,55.5,55.3,55,54.9,52.7,51.8, 49.9,48.2,47.6,46,45.8,45.2,41.9,38.8,37.7,37.5,36.5, 36.4,32.7,32.7,32.2,29.1,27.8,27.8)y=sum(sign(x-64)=1)pbinom(71-y,71,0.50)第十二张，PPT共八十九页，创作于2022年6月2

8、022/9/1413二、大样本的情形 当样本容量足够大，我们可以利用二项分布的正态近似来对该问题进行检验。因为计数统计量在原假设为真时，服从b(n,0.5)。且其均值为0.5n，方差为0.25n。则检验的统计量为 第十三张，PPT共八十九页，创作于2022年6月2022/9/1414第二节 Cox-Stuart趋势检验 人们经常要看某项发展的趋势但是从图表上很难看出是递增，递减，还是大致持平 【例5】我国自1985年到1996年出口和进口的差额(balance)为(以亿美元为单位) 149.0 119.7 37.7 77.5 66.0 87.4 80.5 43.5 122.2 54.0 167

9、.0 122.2 从这个数字，我们能否说这个差额总的趋势是增长，还是减，还是都不明显呢?下图为该数据的点图从图可以看出，总趋势似乎是增长，但1993年有个低谷；这个低谷能否说明总趋势并不是增长的呢?我们希望能进行检验第十四张，PPT共八十九页，创作于2022年6月2022/9/1415第十五张，PPT共八十九页，创作于2022年6月2022/9/1416三种假设： 怎么进行这些检验呢?可以把每一个观察值和相隔大约n2的另一个观察值配对比较；因此大约有n2个对子然后看增长的对子和减少的对子各有多少来判断总的趋势具体做法为取 和 。这里第十六张，PPT共八十九页，创作于2022年6月2022/9/

10、1417 在这个例子中n=12，因而c6。这6个对子为(x1,x7)，(x2，x8)，(x3，x9)，(x4，x10)，(x5，xl1)，(x6，x12)。第十七张，PPT共八十九页，创作于2022年6月2022/9/1418 用每一对的两元素差Di=xi-xi+c的符号来衡量增减。令S+为正Di=xi-xi+c的数目，而令S-为负的Di=xi-xi+c的数。显然当正号太多时，即S+很大时(或S-很小时)，有下降趋势，反之，则有增长趋势在没有趋势的零假设下它们应服从二项分布b(6,0.5)，这里n为对子的数目(不包含差为0的对子)。该检验在某种意义上是符号检验的一个特例。第十八张，PPT共八十

11、九页，创作于2022年6月2022/9/1419 类似于符号检验，对于上面1，2，3三种检验，分别取检验统计量K=S+,K=S-和K=min(S+,S-)。在本例中，这6个数据对的符号为 5负1正， 所以我们不能拒绝原假设。 假设统计量 P值K=min(S+,S-)P(Kk)K=min(S+,S-)P(Kk)K=min(S+,S-)2P(Kk)第十九张，PPT共八十九页，创作于2022年6月2022/9/1420 【 例6 】天津机场从1995年1月到2003年12月的108个月旅客旅客吞吐量数据如下： 54379 45461 55408 59712 60776 57635 63335 712

12、96 70250 76866 75561 66427 61330 58186 67799 76360 86207 75509 83020 89614 75791 80835 72179 61520 66726 60629 68549 73310 80719 67759 70352 82825 70541 74631 68938 53318 62653 58578 63292 69535 73379 62859 72873 87260 67559 76647 70590 58935 58161 64057 63051 58807 63663 57367 70854 79949 66992 801

13、40 62260 55942 58367 56673 61039 74958 85859 67263 87183 97575 79988 88501 68600 58442 68955 56835 67021 81547 85118 70145 95080 106186 86103 88548 70090 65550 69223 85138 89799 99513 98114 68172 97366 116820 95665 109881 87068 75362 88268 85183 87909 79976 27687 50178 100878 131788 116293 120770 10

14、4958 109603讨论是否存在显著的增长趋势。 第二十张，PPT共八十九页，创作于2022年6月2022/9/1421第二十一张，PPT共八十九页，创作于2022年6月2022/9/1422SPSS无此检验，我们用R完成该检验，代码如下。x-c(54379,45461,55408,59712,60776,57635,63335,71296,70250,76866,75561,66427,61330,58186,67799,76360,86207,75509,83020,89614,75791,80835,72179,61520,66726,60629,68549,73310,80719,6

15、7759,70352,82825,70541,74631,68938,53318,62653,58578,63292,69535,73379,62859,72873,87260,67559,76647,70590,58935,58161,64057,63051,58807,63663,57367,70854,79949,66992,80140,62260,55942,58367,56673,61039,74958,85859,67263,87183,97575,79988,88501,68600,58442,68955,56835,67021,81547,85118,70145,95080,1

16、06186,86103,88548,70090,65550,69223,85138,89799,99513,98114,68172,97366,116820,95665,109881,87068,75362,88268,85183,87909,79976,27687,50178,100878,131788,116293,120770,104958,109603) d=x1:54-x55:108 y=sum(sign(d)=1) pbinom(y,54,0.5) 直接得到p值=0.0019190.05，拒绝无趋势的原假设原假设。第二十二张，PPT共八十九页，创作于2022年6月2022/9/14

17、23补充：检验的p值 在假设检验中，常常通过检验的p值来决策。 p值为拒绝原假设的最小概率。对于t检验，如果计算出的统计量的值为t0，则左尾检验的p值为概率p(t t0)右尾检验的p值为概率p(t t0)双尾检验的p值为概率p(|t| t0|)。 但是对于非参数检验来说由于有两个等价的统计量，如得正号的个数与得负号的个数之和等于样本容量n；两个总体的秩和等于N（N+1)/2。第二十三张，PPT共八十九页，创作于2022年6月2022/9/1424 比如是左侧检验，如果总体真实的中位数比假设的小，则检验的统计量w+表现出过小， w-表现出大,检验的p值为p( w+w小)，此时用的最小的统计量。对

18、于右侧检验，如果总体真实的中位数比假设的大，则检验的统计量w+表现出过大， w-表现出小。检验的p值为p( w+w大)。实际上 p( w+w大) = p( -w+-w大) = pN(N+1)/2-w+ N(N+1)/2 -w大 = pw-w小 可见检验的统计量用k=min（w+，w-）是合理的。另外双侧检验的p值是单侧的两倍。第二十四张，PPT共八十九页，创作于2022年6月2022/9/1425 游程检验是样本的随机性检验，其用途很广。例如当我们要考察生产中次品出现是随机的，还是成群的，一个时间序列是平稳的还是非平稳的。第三节 游程检验第二十五张，PPT共八十九页，创作于2022年6月202

19、2/9/1426 从生产线上抽取产品检验，是否应采用频繁抽取小样本的方法。在一个刚刚建成的制造厂内，质检员需要设计一种抽样方法，以保证质量检验的可靠性。生产线上抽取的产品可以分成两类，有瑕疵，无瑕疵。检验费用与受检产品数量有关。一般情况下，有毛病的产品如果是成群出现的，则要频繁抽取小样本，进行检验。如果有毛病的产品是随机产生的，则每天以间隔较长地抽取一个大样本。现随机抽了28件产品，按生产线抽取的顺序排列：0000111111111111110001111111检验瑕疵的产品是随机出现的吗？有瑕疵的产品是随机出现 有瑕疵的产品是成群出现第二十六张，PPT共八十九页，创作于2022年6月2022

20、/9/1427 随机抽取的一个样本，其观察值按某种顺序排列，如果研究所关心的问题是：被有序排列的两种类型符号是否随机排列，则可以建立双侧备择假设组为 H0： 序列是随机的 H1： 序列不是随机的（双侧检验）如果关心的是序列是否具有某种倾向，则应建立单侧备择，假设组为 H0： 序列是随机的 H1: 序列具有混合的倾向（右侧检验，游程过多） H0： 序列是随机的 H1: 序列具有成群的倾向（左侧检验，游程过小）游程：连续出现的具有相同特征的样本点为一个游程。第二十七张，PPT共八十九页，创作于2022年6月2022/9/1428 检验统计量。在H0为真的情况下，两种类型符号出现的可能性相等，其在序

21、列中是交互的。相对于一定的m和n，序列游程的总数应在一个范围内。 若游程的总数过少，表明某一游程的长度过长，意味着有较多的同一符号相连，序列存在成群的倾向； 若游程总数过多，表明游程长度很短，意味着两个符号频繁交替，序列具有混合的倾向。选择的检验统计量为R游程的总数目。 第二十八张，PPT共八十九页，创作于2022年6月2022/9/1429可以证明则第二十九张，PPT共八十九页，创作于2022年6月2022/9/1430游程R的分布为，奇数时关于此可以做如下的考虑游程R的分布为，偶数时第三十张，PPT共八十九页，创作于2022年6月2022/9/1431 先在m+n个抽屉里随机选择m个，抽出

22、的抽屉里放入“1”，没有的放入“0”，所有可能基本的基本事件数为：有种。 或先在m+n个抽屉里随机选择n个，抽出的抽屉里放入“0”，没有的放入“1”，所有可能基本的基本事件数为：有种。第三十一张，PPT共八十九页，创作于2022年6月2022/9/1432 1、必定有k+1个由“1”构成的游程和k个由 “0”构成的游程； 2、或必定有k+1个由“0”构成的游程和k个由 “1”构成的游程。如果游程数为奇数R=2K1，这意味着：第三十二张，PPT共八十九页，创作于2022年6月2022/9/1433 这就必须在m1个位置中插入K个“隔离元”，使有 “1”有k+1个游程，可以有 种，同样可以在n-1

23、个“0”的n-1个空位上插入K-1个“隔离元”，有 种。共有有利基本事件数 。第三十三张，PPT共八十九页，创作于2022年6月2022/9/1434在第二种情形下，有 故：得同理第三十四张，PPT共八十九页，创作于2022年6月2022/9/1435备择假设P值序列具有混合的倾向右尾概率序列具有聚类的倾向左尾概率序列是非随机的较小的左尾概率的两倍第三十五张，PPT共八十九页，创作于2022年6月2022/9/1436 【例7】，在我国的工业和商业企业随机抽出22家进行资产负债率行业间的差异比较。有如下资料：这两个行业的负债水平是否相等。 首先，设 “1”为工业，“2”为商业，将两个行业的数据

24、排序，得行业编号得游程： 1 1 1 1 1 2 1 1 1 1 2 2 2 1 1 1 2 2 2 2 2 2工业647655825982707561647383商业7780806593918491848686第三十六张，PPT共八十九页，创作于2022年6月2022/9/1437游程检验的菜单选择。第三十七张，PPT共八十九页，创作于2022年6月2022/9/1438第三十八张，PPT共八十九页，创作于2022年6月2022/9/1439 游程检验的结果：共有21个个案，12个小于1.4286，9个大于等于1.4286。游程6个。检验的统计量的值为-2.19，相应的渐近p值=0.029，

25、则拒绝原假设。第三十九张，PPT共八十九页，创作于2022年6月2022/9/1440 【例8】公司委托市场调查公司进行随机抽样调查。为了对调查表的真伪进行判断，市场调查公司按顺序抽取了20份问卷。其中消费者每年消费该公司的产品的花费数据如下表，分析问卷数据是否真实。用游程检验。样本编号12345678910消费额405205245465257234445375291291样本编号11121314151617181920消费额261210305295125257260197160150第四十张，PPT共八十九页，创作于2022年6月2022/9/1441 检验结果说明p值=0.808，不能拒绝

26、随机数据的原假设。第四十一张，PPT共八十九页，创作于2022年6月2022/9/1442第四节 单样本的Wilcoxon符号秩检验 一、 Wilcoxon符号秩检验 前面几种推断的方法都只依赖于数据的符号，即方向。没有考虑数据的大小，Wilcoxon符号秩检验是检验关于中位数对称的总体的中位数是否等于某个特定值，检验的假设： 第四十二张，PPT共八十九页，创作于2022年6月2022/9/1443 检验的步骤: 1. 计算 ，它们代表这些样本点到 的距离； 2. 把上面的n个绝对值排序，并找出它们的n个秩；如果有相同的样本点，每个点取平均秩(如1，4，4，5的秩为1，2.5，2.5，4)，然

27、后分别将得正号的秩和得负号的秩相加。另指满足括号里的条件等于1,不满足等于零。第四十三张，PPT共八十九页，创作于2022年6月2022/9/1444 3. 双 在零假设下， 和 应差不多因而，当其中之一非常小时，应怀疑零假设；取检验统计量T=min( ， )； 第四十四张，PPT共八十九页，创作于2022年6月2022/9/1445统计量的均值和方差如下：第四十五张，PPT共八十九页，创作于2022年6月2022/9/1446 5. 根据得到的T值，查Wilcoxon符号秩检验的分布表以得到在零假设下p值如果n很大要用正态近似：得到一个与T有关的正态随机变量Z的值，再查表得P值或直接用计算机

28、得到P值。第四十六张，PPT共八十九页，创作于2022年6月2022/9/1447Wilcoxon符号秩检验表假设检验的统计量P值 第四十七张，PPT共八十九页，创作于2022年6月2022/9/1448 【例9】 欧洲10个城镇每人每年平均消费酒类相当于纯酒精数（单位：升）。 4.12 5.81 7.63 9.74 10.39 11.92 12.32 12.89 13.54 14.45。人们普遍认为其中位数为8。检验该假设。 x-c(4.12,5.81,7.63,9.74,10.39,11.92,12.32,12.89,13.54,14.45) wilcox.test(x-8)第四十八张，P

29、PT共八十九页，创作于2022年6月2022/9/1449 Wilcoxon signed rank testdata: x - 8 V = 46, p-value = 0.06445alternative hypothesis: true location is not equal to 0 第四十九张，PPT共八十九页，创作于2022年6月2022/9/1450 【例10】为了了解垃圾邮件对大型公司决策层工作的影响程度，某个网站收集了19家大型公司的CEO每天收到的垃圾邮件件数，得到如下数据： 310,350,370,375,385,400,415,425,440,195, 325,295

30、,250,340,295,365,375,360,385 检验收到的垃圾邮件的数量的中间位置是否超过了320封。第五十张，PPT共八十九页，创作于2022年6月2022/9/1451x-c(310,350,370,375,385,400,415,425,440,195, 325,295,250,340,295,365,375,360,385) wilcox.test(x-320)data: x - 320 V = 146, p-value = 0.04207alternative hypothesis: true location is not equal to 0 第五十一张，PPT共八十九

31、页，创作于2022年6月2022/9/1452注 Holdges-Lemmann 估计量 定义2.1 假设X1, X2, Xn为简单随机样本，计算任意两个样本点的平均数，从而得到一个样本长度为n(n+1)/2的新的数据，这组数据称为Walsh平均值，即第五十二张，PPT共八十九页，创作于2022年6月2022/9/1453 定理 由定义2.1，Wilcoxon符号秩统计量W+可以表示为 即W+是Walsh平均值中符号为正的个数。如果中心是，则定义 即W+()是检验的统计量。第五十三张，PPT共八十九页，创作于2022年6月2022/9/1454 定义2.2 假定假设X1, X2, Xn为F(X

32、)的简单随机样本，如果F(X)为对称，则定义Walsh中位数如下： 作为的Holdges-Lemmann 估计量。 第五十四张，PPT共八十九页，创作于2022年6月2022/9/1455 从应用的角度看，这种中位数的计算对于样本容量非常小时，更为合理。比如X11季节调整中，季节变动和不规则变动相对数的平均值，就是计算的Holdges-Lemmann 中位数估计量。 补充： X11季节调整。第五十五张，PPT共八十九页，创作于2022年6月2022/9/1456 定理 假定假设X1, X2, Xn为F(X)的简单随机样本，如果F(X)为对称，则定义Walsh平均，记为 WA(1)，WA(），W

33、A（）,则 其中第五十六张，PPT共八十九页，创作于2022年6月2022/9/1457x-c(4.12,5.81,7.63,9.74,10.39,11.92,12.32,12.89,13.54,14.45)walsh=NULLi-c(1:10)for(i in 1:10)for(j in i:10)walsh=c(walsh,(xi+xj)/2)walsh=sort(walsh)qsignrank(0.025,10)第五十七张，PPT共八十九页，创作于2022年6月2022/9/1458 为了了解垃圾邮件对大型公司决策层工作的影响程度，某个网站收集了19家大型公司的CEO影响每天收到的垃圾邮

34、件件数，得到如下数据： 310 350 370 375 385 400 415 425 440 195 325 295 250 340 295 365 375 360 385从平均的意义看，收到的垃圾邮件的数量的中间位置是否超过了320封。第五十八张，PPT共八十九页，创作于2022年6月2022/9/1459data a;input x1-x19;cards; 310 350 370 375 385 400 415 425 440 195 325 295 250 340 295 365 375 360 385 ;%macro PGI;data b;set a;%do i=1 %to 19;%

35、do j=&i %to 19;walsh =(x&i+X&j)/2;if walsh then output;keep walsh;%end;%end;%mend;%PGI;第五十九张，PPT共八十九页，创作于2022年6月2022/9/1460proc print data=b;run;proc sort data=b out=b2;by walsh;proc print data=b2;run;data b3;set b2;n+1;l=int(19*20/4-1.96*(19*20*39/24)*0.5)+1;if n=95 then output;if n=96 then output;

36、else delete;proc print data=b3;run;第六十张，PPT共八十九页，创作于2022年6月2022/9/1461 Obs walsh n l 1 355.0 95 47 2 357.5 96 47第六十一张，PPT共八十九页，创作于2022年6月2022/9/1462第五节 正态得分检验 (一)思想 在各种各样的秩检验中，检验的统计量为秩的函数，而秩本身在没有结时是有限个自然数的排列，它的分布是均匀分布。人们自然会用其他分布的样本。自然我们会想到正态分布。正态记分检验的基本思想就是把升幂排列的秩Ri用升幂排列的正态分位点来替代。我们在Wilcoxon符号检验的基础上

37、，建立线性符号秩统计量。第六十二张，PPT共八十九页，创作于2022年6月2022/9/1463 正态记分检验的基本思想就是： 把升幂排列的秩用升幂排列的正态分位点来替代。首先将按升幂排列，记秩为第六十三张，PPT共八十九页，创作于2022年6月2022/9/1464例如Wilcoxon统计量为Wilcoxon记分函数1n-1n累积概率1/(n+1)(n-1)/(n+1)n/(n+1)正态记分函数例如正态记分检验统计量为第六十四张，PPT共八十九页，创作于2022年6月2022/9/1465正态积分检验的统计量为：第六十五张，PPT共八十九页，创作于2022年6月2022/9/1466 (二)

38、 检验 检验的假设为：第六十六张，PPT共八十九页，创作于2022年6月2022/9/1467则检验的统计量为 第六十七张，PPT共八十九页，创作于2022年6月2022/9/1468 例、下面的数据是亚洲10个国家的新生儿死亡率（） 33 36 31 15 9 6 4 65 77 88 第六十八张，PPT共八十九页，创作于2022年6月2022/9/1469 秩 符号秩 平方33110.090909-1.33518-1.335181.78270136220.181818-0.90846-0.908460.82529531330.272727-0.60459-0.604590.36552315

39、1940.363636-0.34876-0.348760.12163192550.454545-0.11419-0.114190.01303862860.5454550.1141850.1141850.01303843070.6363640.3487560.3487560.121631653180.7272730.6045850.6045850.365523774390.8181820.9084580.9084580.8252958854100.9090911.3351781.3351781.782701合计6.216376第六十九张，PPT共八十九页，创作于2022年6月2022/9/1470第七十张，PPT共八十九页，创作于2022年6月2022/9/1471接受原假设。第七十一张，PPT共八十九页，创作于2022年6月2022/9/1472 假定表示犯第一类错误的概率，而表示犯第二类错误的概率（检验的势为1- ）。对于任意的检验T，理论上总可以找到样本容量n，使该检验满足固定的和。显然为了达到这个要求，需要样本容量大的检验就不如需要样本容量小的检验效率高。为了达到同样的和，检验T1需要n1个样本点，检验T2需要n2个样本点.我们用n1/n2来定义T2相对于T1的效率。当然这个比值越大