系统和数据分析Wilcoxon秩和检验

1、第二十八课Wilcoxon秩和检验一、两样本的Wilcoxon秩和检验两样本的Wilcoxon秩和检验是由Mann, Whitney和Wilcoxon三人共同设计的一种检验， 有时也称为Wilcoxon秩和检验，用来决定两个独立样本是否来自相同的或相等的总体。如果 这两个独立样本来自正态分布和具有相同方差时，我们可以采用t检验比较均值。但当这两 个条件都不能确定时，我们常替换t检验法为Wilcoxon秩和检验。Wilcoxon秩和检验是基于样本数据秩和。先将两样本看成是单一样本(混合样本)然后 由小到大排列观察值统一编秩。如果原假设两个独立样本来自相同的总体为真，那么秩将大 约均匀分布在两个样

2、本中，即小的、中等的、大的秩值应该大约被均匀分在两个样本中。如 果备选假设两个独立样本来自不相同的总体为真，那么其中一个样本将会有更多的小秩值， 这样就会得到一个较小的秩和；另一个样本将会有更多的大秩值，因此就会得到一个较大的 秩和。设两个独立样本为：第一个的样本容量为，第二个样本容量为，在容量为n = n1 + n 2的 混合样本(第一个和第二个)中，样本的秩和为，样本的秩和为，且有：W + W = 1 + 2 + + n =1)(28.1)我们定义：W = W - ni( + D(28.2)n (n +1)W2 = W - (28.3)以样本为例，若它们在混合样本中享有最小的个秩，于是巧=

3、ni(ni + 1)，也是可能取x 2n (n +1)的最小值；同样可能取的最小值为-。那么，的最大取值等于混合样本的总秩和减去的最小值，即尊曳一n2% +1)；同样，的最大取值等于n(n: 1)- n1(n* + 1)。所以，式(28.2)和式(28.3)中的和均为取值在0与(:1)一 %(七+ 1) 2(上+ 1)= n n的变量。2221 2当原假设为真时，所有的和相当于从同一总体中抽得的独立随机样本，和构成可分辨的排列 情况，可看成一排个球随机地指定个为球，另个为球，共有。吃种可能，而且它们是等可能 n的。基于这样的分析，在原假设为真的条件下不难求出和的概率分布，显然它们的分布还是 相

4、同的，这个分布称为样本大小为和的Mann-Whitney-Wilcoxon分布。一个具有实际价值的方法是，对于每个样本中的观察数大于等于8的大样本来说，我们 可以采用标准正态分布来近似检验。由于的中心点为号，根据式(28.2)，中心点为：(28.4)(28.5)n n n (n +1) n (n + n +1) 口 1 2 1= 12(28.4)(28.5)222的方差从数学上可推导出：n n (n + n +1) 2 12 12 2如果样本中存在结值，将影响到公式(28.5 )中的方差，按结值调整方差的公式为:n n (n + n +1) n n (t 3 -T ) b 2 12jj(28.

5、6)1212(n1 + n2)(n1 + n2 1)其中，为第j个结值的个数。结值的存在将使原方差变小，这是一个显然正确的事实。 标准化后为：N (0,1)(28.7)W - n1(n1 + n2+ D N (0,1)(28.7)、n n (n + n +1) n n (T3 T)I 1 2121_2j11212(n + n )(n + n 1)其中，分子加0.5或减0.5是为了对离散变量进行连续性修正，对于W -日大于0减0.5X修正，对于W小于0加0.5修正。例28.1某航空公司的CEO注意到飞离亚特兰大的飞机放弃预订座位的旅客人数在增加， 他特别有兴趣想知道，是否从亚特兰大起飞的飞机比从

6、芝加哥起飞的飞机有更多的放弃预订 座位的旅客。获得一个从亚特兰大起飞的9次航班和从芝加哥起飞的8次航班上放弃预订座 位的旅客人数样本，见表28.1中的第2列和第4列。表28.1放弃预订座位的旅客人数及统一秩值航班次数亚特兰大(组)芝加哥(组)放弃人数统编秩放弃人数统编秩1115.513721591483103.5103.541812815115.51610620139272416171182215211492517秩和96.556.5如果假定放弃预订座位旅客人数的总体是正态分布且有相等的方差，我们可以采用两样 本比较的t检验。但航空公司的CEO认为这两个假设条件不能满足，因此采用非参数的 Wi

7、lcoxon秩和检验。将组与组看成是单一样本进行编秩，见表28.1中的第3列和第5列。最 小值是8，秩值为1，最大值是25，秩值为17，有两个结值10和11，两个10平均分享秩值 3和4为3.5,两个11平均分享秩值5和6为5.5。如果两组放弃预订座位的旅客人数是相同 的，那么我们期望的两组秩和和大约是相同的；如果两组放弃预订座位的旅客人数是不相同 的，那么我们期望的两组秩和和也是非常不相同的。注意到七=9, n2 = 8, =96.5, =56.5, H0:两组放弃预订座位旅客人数的分布是相同的。 标准正态分布值的计算结果为9(9 + 8 +1) 0.5z = ,2= 1.44515 9(8

8、)(9 + 8 +1)9(8)(8 - 2 + 8 - 2)I1212(9 + 8)(9 + 8 -1)如果设定显著水平a = 0.05，我们知道标准正态分布在0.05显著水平时，上临界值为 1.645,下临界值为一1.645,由于1.445 (n +1)/2(28.10)a(R ) = 0当R |Z| = 0.1484第二十九课结果说明：组1和组2的秩和 (Sum of Scores)分别为 96.50 和 56.50。原假设(组1和组2的总体分布相同)为真时，期望秩值(Expected)分别为(96.50+56.50 )X 9/ (9+8) =81.0 和(96.50+56.50)X8/

9、(9+8) =72.0，标准差(Std Dev)按公式(28.6)计算为10.3795614。每组平均得分（MeanScore） 分别为 96.50/9=10.7222222 和 56.50/8=7.0625000。Wilcoxon两样本秩和统计 量（较小的秩和）S =56.5000，正态近似 检验统计量Z =1.44515 （连续性修正因 子为0.5,加在分子上），正态分布的双尾 p值之和为0.1484，不能拒绝原假设。同 时，还给出了近似t检验和卡方检验的结 果：近似t检验的p=0.1677，近似卡方检 验统计量为2.2300，自由度为1，p=0.1354。 结果都是相同的，不能拒绝原假设

10、。完全随机设计Kruskal-Wallis秩和检验四、完全随机设计的Kruskal-Wallis秩和检验方差分析过程关注三个或更多总体的均值是否相等的问题，数据是被假设成具有正态分 布和相等的方差，此时F检验才能奏效。但有时采集的数据常常不能完全满足这些条件。在 两两样本比较时，我们不妨尝试将数据转换成秩统计量，因为秩统计量的分布与总体分布无 关，可以摆脱总体分布的束缚。在比较两个以上的总体时，广泛使用非参数的Kruskal-Wallis 秩和检验，它是对两个以上的秩样本进行比较，本质上它是两样本时的Wilcoxon秩和检验方 法在多于两个样本时的推广。Kruskal-Wallis秩和检验，首

11、先要求从总体中抽取的样本必须是独立的，然后将所有样本 的值混合在一起看成是单一样本，再把这个单一的混合样本中的值从小到大排序，序列值替 换成秩值，最小的值给予秩值1，有结值时平分秩值。将数据样本转换成秩样本后，再对这 个秩样本进行方差分布，但此时我们构造的统计量KW不是组间平均平方和除以组内平均平 方和，而是组间平方和除以全体样本秩方差。这个KW统计量是我们判定各组之间是否存在 差异的有力依据。设有组样本，是第组样本中的观察数，是所有样本中的观察总数，是第组样本中的秩和， 是第组样本中的第个观察值的秩值。需要检验的原假设为各组之间不存在差异，或者说各组 的样本来自的总体具有相同的中心或均值或中

12、位数。在原假设为真时，各组样本的秩平均应 该与全体样本的秩平均件2 + + = 竺比较接近。所以组间平方和为n2组间平方和=ni i=11、 n +1-2 J组间平方和=ni i=11、 n +1-2 JJ恰好是刻画这种接近程度的一个统计量，除以全体样本秩方差，可以消除量纲的影响。样本 方差的自由度为n-1。所以，全体样本的秩方差为(29.1)1须另仁n +1 )2全体样本的秩方差=7乙乙I R -n -1 i=1 j=12 J党，-Wn -1 = 2 Jn(n +1)2)(29.2)1 ( n(n + 1)(2n +1) n(n +1)2 n-164 Jn(n +1)=12因此，Kruska

13、l-Wallis秩和统计量KW为:组间平方和KW =全体样本的秩方差nin + 1V12 亍，nn(n +1) l=112 M -3(n +1)n(n +1) . n如果样本中存在结值，需要调整公式(4.3.3)中的KW统计量，校正系数C为:(29.3)(29.4)其中，第j个结值的个数。调整后的KWc统计量为:(29.5)KWc = KW / C(29.5)如果每组样本中的观察数目至少有5个，那么样本统计量KWc非常接近自由度为k -1的 卡方分布。因此，我们将用卡方分布来决定KWc统计量的检验。例29.1某制造商雇用了来自三个本地大学的雇员作为管理人员。最近，公司的人事部门 已经收集信息并

14、考核了年度工作成绩。从三个大学来的雇员中随机地抽取了三个独立样本， 见表29.1中的第2、4、6列所示。制造商想知道来自这三个不同的大学的雇员在管理岗位上 的表现是否有所不同。表29.1来自三个不同大学的雇员得分及统一秩值雇员大学A统编秩大学B统编秩大学C统编秩12536095072701220270123609304609485171518015.5595204069018.569018.5355701278015.57514秩和组A秩和95组B秩和27组C秩和88为了计算KW统计量，我们首先必须将来自三个大学的20名雇员统一按考核成绩编排秩 值，见表29.1中的第3、5、7列所示。本例中，

15、丁 7, %= 6, %=7, n = 20,七=95,气广27, %广88, S3，H0：三个总体的考核成绩分布是相同的。我们用(29.3)式计算KW统计量为：KW1220(21)(95)2KW1220(21)(95)2 * (27 * 性767-3(20 +1) = 8.9163用(29.4)式计算校正系数C，从表29.1中我们可以发现，相等成绩值和相等的个数分别为60分3个，70分3个，80分2个，90分2个。所以：(33 - 3 + 33 - 3 + 23 - 2 + 23 - 2)203 - 20C = 1 - ) = 203 - 20调整后的KW为：cKW = KW /C = 8.

16、9163/0.9925 = 8.9839查表可知道，自由度为左-1 = 2的卡方分布，在a = 0.05显著水平下，分布的上尾临界 值为5.99，由于8.985.99,因此拒绝原假设。所以，秩和最低的B组至少与秩和最高的A 组是不同的。五、freq频数过程Freq频数过程可以生成单向和n向的频率表和交叉表。对于双向表(二维表)，该过程计 算检验统计量和关联度。对于n向表，该过程进行分层分析，计算每一层和交叉层的统计量。 这些频数也能够输出到SAS数据集里。1. freq过程说明proc freq 过程一般由下列语句控制:procfreqdata=数据集选项; by变量列表；tables交叉表的

17、表达式; weight 变量； output ; run ;该过程proc freq语句是必需的。其余语句是供选择的。另外，该过程只能使用一个output语句。proc freq语句的选项order=freq/data/internal/formatted 规定变量水平的排列次序。freq表示按频数下 降的次序，data表示按输入数据集中出现的次序，internal表示按非格式化值的次序(缺省 值)，formatted按格式化值的次序。f0rmachar(1,2,7)=，三个字符 规定用来构造列联表的轮廓线和分隔线的字符。 缺省值为formachar(1,2,7)= |+，第一个字符用来表示垂

18、直线，第二个字符用来表示水 平线，第三个字符用来表示水平与垂直的交叉线。page要求freq每页只输出一张表。否则，按每页行数允许的空间输出几张表。noprint禁止freq过程产生所有输出。by语句一个by语句能够用来得到由by变量定义的分组观察，并分别进行分析。过程要求输入 的数据集己按by变量排序。tables 语句可以包括多个tables语句。如果没有tables语句，对数据集中的每个变量都生成一个单向 频数表。如果tables语句没有选项，则计算tables语句中规定变量每个水平的频数、累计频数、 占总频数的百分比及累计百分比。Tables语句中的交叉表的表达式，请参见第二章第二节p

19、roc tabulate过程中的table语句 的用法。Tables语句中的主要选项如下：all求计算所有选项的检验和度量，包括chisq、measures和cmh。chisq 求对每层是否齐性或独立性进行卡方检验，包括pearson卡方、似然比 卡方和Mantel-Haenszel卡方。并计算依赖于卡方统计量的关联度，包括phi系数、列联系 数和Cramer V。对于2X2联列表还自动计算Fisher的精确检验。cmh 求Cochran-Mantel-Haenszel卡方统计量，用于2维以上表时，检验行变量和列变量是否有线性相关。exact要求对大于2X2表计算Fisher的精确检验。Fis

20、her的精确检验是假设行与列的边缘频数固定，并且在零假设为真时，各种可能的表的超几何概率之和。measures求计算若干个有关相关的统计量及它们的渐近标准误差。alpha=p设定100 (1p) %置信区间。缺省值为alpha=0.05。scores=rank/table/ridit/modridit定义行/列得分的类型以便用于cmh统计量和pearson相关中。在非参数检验中，一般常用scores=rank，用于指定非参数分析的秩得分。cellchi2要求输出每个单元对总卡方统计量的贡献。cumcol要求在单元中输出累计列百分数。expected 独立性(或齐性)假设下，要求输出单元频数的期

21、望值。deviation求输出单元频数和期望值的偏差。missprint要求所有频数表输出缺失值的频数。missing求把缺失值当作非缺失值看待，在计算百分数及其他统计量时包括它们。out=输出数据集建立一个包括变量值和频数的输出数据集。sparse求输出在制表要求中变量水平的所有可能组合的信息。list以表格形式打印二维表。nocum/norow/nocol/nofreq/noprint分别不输出累计频率数、行百分率、列百分率、单元频数、频数表。weight 语句通常每个观察对频数计数的贡献都是1。然而当使用weight语句时，每个观察对频数计 数的贡献为这个观察对应的权数变量的值。outp

22、ut 语句该语句用于创建一个包含由proc freq过程计算的统计量的SAS数据集。由output语句创 建的数据集可以包括在tables语句中要求的任意统计量。当有多个tables语句时，output语句 创建的数据集的内容相应于最后要求的那个表。六、实例分析例291的SAS程序如下： data study.colleges ; do group=1 to 3; input n; do i=1 to n;input x ;output;end; end; cards;725 70 60 85 95 90 80 660 20 30 15 40 35 750 70 60 80 90 70 75;

23、proc npar1way data=study.colleges wilcoxon; class group; var x;run;程序说明：建立输入数据集colleges，数据的输入和完全随机化方差分析的数据输入完 全相同，先输入本组数据的总数，然后输入组中每个数据。分组变量group，共有三组取值 为1、2和3。输入变量为X，存放每组中的数据。过程步调用nparlway过程，后面用选择项 wilcoxon，当样本数大于两个时，自动进行多样本的Kruskal-Wallis秩和检验。class语句后给 出分组变量名group，var语句后给出要分析的变量X。主要结果如表29.2所示。表29.2 用nparlway过程进行多样本比较的Kruskal-Wallis秩和检验输出结果N P A R 1 W A Y P R O C E D U R E Wilcoxon Scores (Rank Sums) for Variable XClassified by Variable GROUPSum ofExpecte