SAS系统和数据分析符号检验和Wilcoxon符号秩检验

符号检验和Wilcoxon符号秩检验在统计推断和假设检验中，传统的检验统计量都叫做参数检验，因为它们都依赖于确定的概率分布，这个分布带有一组自由的参数。参数检验被认为是依赖于分布假定的。通常情况下，我们对数据进行分析时，总是假定误差项服从正态分布，这是人们易于接受的事实，因为正态分布的原始出发点就是来自于误差分布，至于当样本相当大时，数据的正态近似，这是由于大样本理论所保证的。但有些资料不一定满足上述要求，或不能测量具体数值，其观察结果往往只有程度上的区别，如颜色的深浅、反应的强弱等，此时就不适用参数检验的方法，而只能用非参数统计方法（non-parametricstatisticalanalysis）来处理。这种方法对数据来自的总体不作任何假设或仅作极少的假设，因此在实用中颇有价值，适用面很广。单样本的符号检验符号检验（signtest）是一种最简单的非参数检验方法。它是根据正、负号的个数来假设检验。首先需要将原始观察值按设定的规则，转换成正、负号，然后计数正、负号的个数作出检验。该检验可用于样本中位数和总体中位数的比较，数据的升降趋势的检验，特别适用于总体分布不服从正态分布或分布不明的配对资料，有时当配对比较的结果只能定性的表示，如试验前后比较结果为颜色从深变浅、程度从强变弱，成绩从一般变优秀，即不能获得具体数字，也可用符号检验，例如用正号表示颜色从深变浅，用负号表示颜色从浅变深。用于配对资料时，符号检验的计算步骤为：首先定义成对数据指定正号或负号的规则，然后计数正号的个数及负号的个数，由于在具体比较配对资料时，可能存在配对资料的前后没有变化，或等于假设中的中位数，此时仅需要将这些观察值从资料中剔除，当然样本大小也随之减少，故修正样本大小。当样本较小时，应使用二项分布确切概率计算法，当样本较大时，常利用二项分布的正态近似。小样本时的二项分布概率计算当时，或的检验值由精确计算尺度二项分布的卷积获得。在比较配对资料试验前后有否变化，或增加或减小的假设检验时，如果我们定义试验后比试验前增加为正号，反之为负号，那么对于原假设：试验前后无变化来说，正号的个数和负号的个数可能性应当相等，即正号出现的概率=0.5，于是与均服从二项分布，对于太大的相应太小的，或者太大的相应太小的，都将拒绝接受原假设；对于原假设：试验后比试验前有增加来说，正号的个数大于负号的个数的可能性应该大，即正号出现的概率，对于太小的相应太大的，将拒绝接受原假设；对于原假设：试验后比试验前减小来说，正号的个数小于等于负号的个数的可能性应该大，即正号出现的概率，对于太大的相应太小的，将拒绝接受原假设。例27.1有一种提高学生某种素质的训练，有人说它是无效的，有人说它是有效的，那么真实情况究竟应该是怎样的呢？随机地选取15名学生作为试验样本，在训练开始前做了一次测验，每个学生的素质按优、良、中、及格、差打分，经过三个月训练后，再做一次测试对每个学生打分。数据如表27.1所示。我们将素质提高用正号表示，反之用负号表示，没有变化用0表示。显著性水平取0.1。表27.1训练前后的素质比较学生编号训练之前训练之后差异符号1中优＋2及格良＋3良中－4差中＋5良良06中优＋7差及格＋8良优＋9中差－10差中＋11中优＋12及格良＋13中及格－14中优＋15差中＋从表27.1中15名学生训练前后的差异分析可得出：有14名学生有差异，其中=11，=3。1名学生无差异（学生编号为5），应该从分析中去掉，所以=15－1=14。假设检验为：即训练之后学生素质没有提高。即训练之后学生素质有提高。由于试验的结果只有两种可能，正号或负号，对每一个学生试验出现正号的假定概率为=0.5，负号为1-=0.5，这样整个试验的概率是相同的，并且每一个试验是相互独立的。因此在=14次独立的试验中，正号出现的次数服从二项分布，如表27.2所示。表27.2二项分布的概率和累计概率n=14,p=0.5正号出现的次数正号出现的概率累计概率00.00010.000110.00090.000920.00560.006530.02220.028740.06110.089850.12220.212060.18330.395370.20950.604780.18330.788090.12220.9102100.06110.9713110.02220.9935120.00560.9991130.00090.9999140.00011.0000从表27.2的累计概率列中我们看到，正号出现的次数大于10的概率为1－0.9713=0.0287，或者换一种方法计算为=0.0001+0.0009+0.0056+0.0222=0.0287，二者的微小差异是因为小数点后舍入问题造成的。而试验的结果：正号出现的次数为11，大于10，出现的概率不会超过0.0287，我们开始设定的显著性水平为0.1，由于0.0287<0.1，所以我们拒绝原假设，接受备选假设。如果我们的原假设为=0.5，既训练前后学生素质相等，那么就是双侧检验，应该加上正号出现的次数小于4的概率0.0287，即2×0.0287=0.0574<0.1，同样是拒绝原假设，接受区间为4次到10次，而拒绝区间为小于等于3次（小于4次）或大于等于11次（大于10次）。大样本时的正态近似概率计算当时，样本可以认为是大样本。我们可以利用二项分布的正态近似，即对于，二项分布的期望均值为，方差为，当比较大时，且和大于5，可以近似地认为：(27.1)公式中的表示正号或者负号的个数，符号检验时，=0.5代入式（27.1）中，得到大样本时的正态近似统计量：(27.2)当>时，应该修正为－0.5；当<时，应该修正为＋0.5。值加或减的0.5是连续性修正因子，目的是为了能将连续分布应用到近似的离散型分布。配对资料的Wilcoxon符号秩检验当两组配对资料近似服从正态分布，它们差值的检验可以使用配对t检验法。如果配对资料的正态分布的假设不能成立，就可以使用FrankWilcoxon（1945）符号秩检验，它是一种非参数检验方法，对配对资料的差值采用符号秩方法来检验。它的基本要求是差值数据设置为最小的序列等级和两组配对资料是相关的（配成对）。在两组配对资料的差异有具体数值的情况下，符号检验只利用大于0和小于0的信息，即正号和负号的信息，而对差异大小所包含的信息却未加利用，但Wilcoxon符号秩检验方法既考虑了正、负号，又利用了差值大小，故效率较符号检验法高。例27.2某制造商想要比较两种不同的生产方法所花费的生产时间是否有差异。随机地选取了11个工人，每一个工人都分别使用两种不同的生产方法来完成一项相同的任务，每一个工人开始选用的生产方法是随机的，即可以先使用生产方法1再使用生产方法2，也可以先用生产方法2再使用生产方法1。这样，在样本中的每一个工人都提供了一个配对观察。数据如表27.3所示。任务完成时间的正差值表示生产方法1需要更多的时间，负差值表示生产方法2需要更多的时间。表27.3两种不同生产方法完成任务的时间（分钟）工人编号n生产方法M差值D绝对差值秩次R符号秩次RM1M2D=M1－M2|D|－＋110.29.50.70.78829.69.8－0.20.22239.28.80.40.43.53.5410.610.10.50.55.55.559.910.3－0.40.43.53.5610.29.30.90.91010710.610.50.10.111810.010.000———911.210.60.60.6771010.710.20.50.55.55.51110.69.80.80.899符号秩次总和=5.5，=49.55.549.5为了比较两种方法的任务完成时间是否有显著差异，假设检验为：任务完成时间的两个总体是相同的。任务完成时间的两个总体是不相同的。使用Wilcoxon符号秩检验方法的主要步骤见表27.3中每列的计算方法和过程，先求出每对数据的差值D，按差值绝对值|D|由小到大排列并给秩R，从秩1开始到秩10，注意工人编号为8的配对数据，由于差值为0，在排秩中丢弃，样本数目修正为=11－1=10。在给秩值时，遇到相等|D|，也称为结值（tied），使用平均秩，如工人编号3和5具有相同的绝对差值0.4，所以平分秩3和秩4，各为秩3.5。一旦绝对差值的秩值R给出后，然后将R分成正和负差值的两个部分秩值和，最后求符号秩和，，如=2+3.5=5.5。对于样本数目有个，与的最小可能值为0，而最大可能值为（1+2+…+n）=n(n+1)/2。显然，应当有+=n(n+1)/2，如本例5.5+49.5=55=10(10+1)/2。那么符号秩的平均值为n(n+1)/4。构造Wilcoxon符号秩统计量为：(27.3)显然如果原假设为真，与应该有相同的值，等于n(n+1)/4，因此太大的S值或太小的S值都是我们拒绝的依据。在实际工作中便于计算常取W=min(，)，W服从所谓的Wilcoxon符号秩分布，对于本例=10，49.5－10(10+1)/4=22,W=min(49.5，5.5)=5.5，查表可得在显著水平0.05，=10的双侧检验的临界值为8，即W值的拒绝区域为0到8，接受区域为8到27.5。由于5.5<8，我们拒绝原假设。对于>20，当原假设为真时，统计量=－接近于0，统计量的方差为：(27.4)构造检验统计量：(27.5)近似于标准正态分布。因为+=n(n+1)/2，所以=－=2－n(n+1)/2，我们可以将(27.5)式中的改写为的形式：(27.5)我们以本例的数据来计算一下，=2.24，p=2×0.01246=0.249。标准正态分布使用显著水平0.05时，拒绝区域为z<－1.96和z>1.96，因为2.24>1.96，所以拒绝原假设。实例分析例27.1的SAS程序如下：datastudy.training;inputbeforeafter;d=after-before;cards;352443134435124531133524323513;procunivariatedata=study.training;vard;run;程序说明：建立输入数据集training，首先要对定性资料进行量化。本例把学生成绩按5分计量，设定优=5分，良=4分，中=3分，及格=2分，差=1分。把提高学生某种素质的训练前成绩和训练后成绩分别存放在变量before和after中，变量d等于配对的训练后成绩减去训练前成绩。注意只能调用univariate过程，而不能调用means过程来进行符号检验。分析变量为单样本数据集training中的d变量。输出的主要结果如表27.4所示。表27.4用univariate过程进行符号检验的输出结果UnivariateProcedureUnivariateProcedureVariable=DMomentsQuantiles(Def=5)N15SumWgts15100%Max299%2Mean1.066667Sum1675%Q3295%2StdDev1.387015Variance1.9238150%Med290%2Skewness-1.24756Kurtosis0.18131725%Q1010%-1USS44CSS26.933330%Min-25%-2CV130.0326StdMean0.3581261%-2T:Mean=02.978471Pr>|T|0.0100Range4Num^=014Num>011Q3-Q12M(Sign)4Pr>=|M|0.0574Mode2SgnRank38Pr>=|S|0.0154ExtremesLowestObsHighestObs-2(9)2(10)-1(13)2(11)-1(3)2(12)0(5)2(14)1(8)2(15)结果说明：符号检验统计量M(Sign)=4，它是取正符号和负符号两者之间的小者作为检验统计量，Pr>=|M|计算的概率是二项分布的两尾概率之和，因此它是双侧检验，检验正符号和负符号是否相同，结果为0.0574。在显著水平设定为0.1时，由于0.0574<0.1，拒绝原假设。符号检验的缺点是丢失了差值d大小的信息，如果设定检验的显著水平为0.05，那么本例检验结果却由于0.0574>0.05，改变为不能拒绝原假设。但是，如果我们用考虑差值d大小的信息的Wilcoxon符号秩检验，即SgnRank，由于0.0154<0.05，仍然得到拒绝原假设的检验结果。例27.2的SAS程序如下：datastudy.time;inputm1m2;d=m1-m2;cards;10.29.59.69.89.28.810.610.19.910.310.29.310.610.510.010.011.210.610.710.210.69.8;procunivariatedata=study.timenormal;vard;run;程序说明：建立输入数据集time，数据的输入和配对t检验相同，即数据一对一对的输入，然后求出差值d。过程步也和配对t检验类同，但必须调用univariate过程。本例用了“normal”选项对差值作正态性检验。输出的主要结果如表27.5所示。表27.5用univariate过程进行Wilcoxon符号秩检验的输出结果UnivariateProcedureUnivariateProcedureVariable=DMomentsQuantiles(Def=5)N11SumWgts11100%Max0.999%0.9Mean0.354545Sum3.975%Q30.795%0.9StdDev0.422761Variance0.17872750%Med0.590%0.8Skewness-0.56332Kurtosis-0.8069925%Q1010%-0.2USS3.17CSS1.7872730%Min-0.45%-0.4CV119.2404StdMean0.1274671%-0.4T:Mean=02.78146Pr>|T|0.0194Range1.3Num^=010Num>08Q3-Q10.7M(Sign)3Pr>=|M|0.1094Mode0.5SgnRank22Pr>=|S|0.0234W:Normal0.942951Pr<W0.5338ExtremesLowestObsHighestObs-0.4(5)0.5(10)-0.2(2)0.6(9)0(8)0.7(1)0.1(7)0.8(11)0.4(3)0.9(6)结果说明：配对资料如果其差值不是具体数字，只能用符号检验。但如果差值有具体数字，而使用符号检验，相当于只利用了它的“+”、“－”，而对数字大小中所包含信息却未加利用。此时，应该使用配对资料的t检验或配对资料的Wilcoxon符号秩检验。如果我们有理由相信配对资料符合正态分布且正态性检验也不能拒绝差值d具有正态性，那么应该使用t检验，这也是本程序需要“normal”选项的原因。但是，如果我们没有任何理由相信配对资料符合正态分布，即使在正态性检验也不能拒绝差值d具有正态性的情况下，建议还是使用Wilcoxon符号秩检验。差值d的正态性检验的结果为0.5338>0.05，因此不能拒绝差值d具有正态性。因为制造商拒绝相信差值d具有正态性，所以我们采用Wilcoxon符号秩检验。Wilcoxon符号秩统计量S（SgnRank）=22。SAS系统在20时，Pr>=|S|的概率由S的精确分布计算，而S的分布是尺度二项分布的卷积，所以精确结果为p=0.0234<0.05，拒绝原假设，即两种不同的生产方法所花费的生产时间是有差异的。当>20时，将符号秩统计量S标准化成自由度为－1的t统计量来计算显著水平。注意，跟我们上面所介绍的转换成标准正态分布略有不同，原因是当较大时，t分布渐近标准正态分布。另外，SAS系统在计算秩统计量S的方差时，用结值来修正方差。拒绝原假设，即两种不同的生产方法所花费的生产时间是有差异的。Wilcoxon秩和检验两样本的Wilcoxon秩和检验两样本的Wilcoxon秩和检验是由Mann，Whitney和Wilcoxon三人共同设计的一种检验，有时也称为Wilcoxon秩和检验，用来决定两个独立样本是否来自相同的或相等的总体。如果这两个独立样本来自正态分布和具有相同方差时，我们可以采用t检验比较均值。但当这两个条件都不能确定时，我们常替换t检验法为Wilcoxon秩和检验。Wilcoxon秩和检验是基于样本数据秩和。先将两样本看成是单一样本（混合样本）然后由小到大排列观察值统一编秩。如果原假设两个独立样本来自相同的总体为真，那么秩将大约均匀分布在两个样本中，即小的、中等的、大的秩值应该大约被均匀分在两个样本中。如果备选假设两个独立样本来自不相同的总体为真，那么其中一个样本将会有更多的小秩值，这样就会得到一个较小的秩和；另一个样本将会有更多的大秩值，因此就会得到一个较大的秩和。设两个独立样本为：第一个的样本容量为，第二个样本容量为，在容量为的混合样本（第一个和第二个）中，样本的秩和为，样本的秩和为，且有：(28.1)我们定义：(28.2)(28.3)以样本为例，若它们在混合样本中享有最小的个秩，于是，也是可能取的最小值；同样可能取的最小值为。那么，的最大取值等于混合样本的总秩和减去的最小值，即；同样，的最大取值等于。所以，式(28.2)和式(28.3)中的和均为取值在0与的变量。当原假设为真时，所有的和相当于从同一总体中抽得的独立随机样本，和构成可分辨的排列情况，可看成一排个球随机地指定个为球，另个为球，共有种可能，而且它们是等可能的。基于这样的分析，在原假设为真的条件下不难求出和的概率分布，显然它们的分布还是相同的，这个分布称为样本大小为和的Mann-Whitney-Wilcoxon分布。一个具有实际价值的方法是，对于每个样本中的观察数大于等于8的大样本来说，我们可以采用标准正态分布来近似检验。由于的中心点为，根据式(28.2)，中心点为：(28.4)的方差从数学上可推导出：(28.5)如果样本中存在结值，将影响到公式(28.5)中的方差，按结值调整方差的公式为：(28.6)其中，为第j个结值的个数。结值的存在将使原方差变小，这是一个显然正确的事实。标准化后为：(28.7)其中，分子加0.5或减0.5是为了对离散变量进行连续性修正，对于大于0减0.5修正，对于小于0加0.5修正。例28.1某航空公司的CEO注意到飞离亚特兰大的飞机放弃预订座位的旅客人数在增加，他特别有兴趣想知道，是否从亚特兰大起飞的飞机比从芝加哥起飞的飞机有更多的放弃预订座位的旅客。获得一个从亚特兰大起飞的9次航班和从芝加哥起飞的8次航班上放弃预订座位的旅客人数样本，见表28.1中的第2列和第4列。表28.1放弃预订座位的旅客人数及统一秩值航班次数亚特兰大（组）芝加哥（组）放弃人数统一编秩放弃人数统一编秩1115.513721591483103.5103.541812815115.51610620139272416171182215211492517秩和96.556.5如果假定放弃预订座位旅客人数的总体是正态分布且有相等的方差，我们可以采用两样本比较的t检验。但航空公司的CEO认为这两个假设条件不能满足，因此采用非参数的Wilcoxon秩和检验。将组与组看成是单一样本进行编秩，见表28.1中的第3列和第5列。最小值是8，秩值为1，最大值是25，秩值为17，有两个结值10和11，两个10平均分享秩值3和4为3.5，两个11平均分享秩值5和6为5.5。如果两组放弃预订座位的旅客人数是相同的，那么我们期望的两组秩和和大约是相同的；如果两组放弃预订座位的旅客人数是不相同的，那么我们期望的两组秩和和也是非常不相同的。注意到9，8，=96.5，=56.5，两组放弃预订座位旅客人数的分布是相同的。标准正态分布值的计算结果为如果设定显著水平0.05，我们知道标准正态分布在0.05显著水平时，上临界值为1.645，下临界值为－1.645，由于1.445<1.645，所以不能拒绝原假设。在使用Wilcoxon秩和检验时，也可以采用第二个样本的秩和来计算标准正态分布值，但要注意公式中和的对换。值的计算结果为：由于－1.445>－1.645，因此得到的是相同的结果，不能拒绝原假设。另外，要特别注意的是由于在连续型分布中随机地抽出个样本，几乎极少可能存在有些值相等的情况，但在社会经济中有很多离散变量，很可能存在数值相同的情况，即样本中存在着“结”。我们处理“结”的方法采用分享平均秩，但当大量“结”存在时，将可能直接影响的方差，因此需要把式(28.5)中的方差修正为式(28.6)。但在手工计算和结值不多的情况下，常使用未修正方差来简化计算，因为与修正方差的计算结果比较只存在一些小差异，大多数情况下不影响最终的推断结果。单因子非参数方差分析的npar1way过程单因子非参数方差分析的npar1way过程是分析变量的秩，并计算几个基于经验分布的函数（EDF）和通过一个单因子分类变量的响应变量确定的秩得分的统计量。秩的得分计算分成四种：Wilcoxon得分、中位数得分、Savage得分和VanderWaerden得分。然后，再由秩得分计算简单的线性秩统计量，由这个秩统计量可以检验一个变量的分布在不同组中是否具有相同的位置参数，或者在EDF检验下，检验这个变量分布在不同组中是否分布相同。秩得分的统计量也可以先用procrank过程计算秩得分，然后用procanova过程分析这些秩得分而得到。四种不同的秩得分计算用以下公式定义的统计量：(28.8)称为线性秩统计量。其中，是第个观察的秩，是秩得分，是一个指示向量（由0和1组成），它表示了第个观察所属的类，是观察的总数。npar1way过程的四种不同的秩得分计算为：Wilcoxon得分在Wilcoxon得分中：=(28.9)它对Logistic分布的位置移动是局部最优的。在计算两样本情况下的Wilcoxon秩和统计量时，过程对零假设下的渐进标准正态分布的z统计量进行一个连续的+0.5和－0.5校正。Median得分Median得分又称为中位数得分。当观察的秩大于中位点时，中位数得分为1，否则为0，即：(28.10)对于双指数分布，中位数得分是局部最优。VanderWaerden得分VanderWaerden得分简称为VW的得分。它是对正态分布的次序统计量的期望值的近似，即：=(28.11)其中，函数是标准正态的累积分布函数的反函数，这个得分对正态分布是最优的。Savage得分Savage得分是指数分布的次序统计量的期望值。减去1使得得分以0为中心，即：=(28.12)Savage得分在指数分布中比较尺度的不同性或在极值分布中的位置移动上是最优的。npar1way过程说明procnpar1way过程一般由下列语句控制：procnpar1waydata=数据集<选项>;class分类变量;var变量列表;by变量列表;run;为了使用procnpar1way过程，必须调用proc和class语句。其余语句是供选择的。procnpar1way语句的选项anova——对原始数据执行标准方差分析。edf——计算基于经验分布函数（EDF）的统计量，如Kolmogorov-Smirnov、Cramer-VonMeses、Kuiper统计量。missing——把class变量的缺失值看作一个有效的分类水平。median——执行一个中位数得分分析。对于两样本产生一个中位数检验，对于更多样本产生一个Brown-Mood检验。savage——执行一个Savage得分分析。该检验适用于数据服从指数分布的组间比较。vw——执行一个VanderWaerden得分分析。这是一个通过应用反正态分布累积函数得到近似的正态得分。对于两个水平情况，这是一个标准VanderWaerden检验。wilcoxon——对数据或Wilcoxon得分进行秩分布。对于两个水平，它与Wilcoxon秩和检验一样；对于任何数量的水平，这是一个Kruskal-Wallis检验。对于两样本情况，该过程使用一个连续的校正。class语句class语句是必需的，它指定一个且只能一个分类变量。该变量用来标识数据中的各个类。Class语句变量可以是字符型或数值型。var语句var语句命名要分析的响应变量或自变量。如果省略var语句，过程分析数据集中除class语句指定的数据变量外的所有数值型变量。by语句一个by语句能够用来得到由by变量定义的几个观察组，并用procnpar1way过程分别进行分析。当一个by语句出现时，过程希望输入的数据集已按by变量排序。实例分析例28.1的SAS程序如下：datastudy.noshows;dogroup=1to2;inputn;doi=1ton;inputx@@;output;end;end;cards;9111510181120242225813141081691721;procnpar1waydata=study.noshowswilcoxon;classgroup;varx;run;程序说明：建立输入数据集noshows，数据的输入和成组t检验相同，先输入本组数据的总数，然后输入组中每个数据。分组变量为group，共有两组取值为1和2。输入变量为x，存放每组中的数据。过程步调用npar1way过程，后面用选择项wilcoxon要求进行wilcoxon秩和检验。要注意，如果两组样本是配对样本，应该使用配对t检验或wilcoxon符号检验，因为使用wilcoxon秩和方法，将损失配对信息。class语句后给出分组变量名group，var语句后给出要分析的变量x。主要结果如表28.2所示。表28.2用npar1way过程进行Wilcoxon秩和检验的输出结果NPAR1WAYPRO