《非参数检验》word版.doc

非参数检验非参数检验，又称为分布检验，与前面介绍的t、F检验的着眼点不同，它并不对总体的参数进行检验，而是研究目标总体的分布情况是否与理论相同，或分布位置及形状是否相同。常见的非参数检验如卡方检验、秩和检验、二项分布检验、游程检验等。本讲内容主要分为两个部分：分布检验（即所谓的拟合优度检验，包括Chi-square、Binomial、Runs、1-Sample K-S命令）与位置检验（2 Independent Samples、K Independent Samples、2 Related Samples、K Related Samples命令）。一、分布检验Chi-Square：请注意，这里所指的Chi-square不是教科书上的卡方检验（课本中的卡方检验使用的是Crosstabs命令），准确的说应该称为卡方拟合优度检验。其检验目的在于分析分类数据的频数分布是否满足特定的概率分布。例如：一颗骰子投掷300次，各点出现的频数结果见骰子.sav，问该骰子是否是六面均匀的。我们假设骰子是均匀的，则每一个面出现的理论频数均为50次，但是由于抽样误差所以300次投掷所组成的一个样本中并非每个面出现的频率均为50次，如果假设成立的话，实际频数与理论频数的差距应该不大，这就需要用到拟合优度检验。由于提供的数据已经是经过整理后的频数表数据，所以分析时要对点出现的频数加权：上图为Chi-square的主对话框，讲点数选入test variable list中，expected range为设定检验变量的取值范围，默认是所有变量值都进入分析；Expected values为理论值，默认情况下认为每个类别是均匀分布的；对于本例由于所有变量取值都进入分析，而且假设每个面出现的概率均相同，所以不必对上述界面作变动。接着点击Exact选择是否进行精确概率运算：Asymptotic only为计算近似概率：它使用Pearson c2计算公式（O-E）2/E计算卡方值，而后计算概率值，该方法对于样本含量较大时，或理论数较大时结果较稳定，如果是小样本考虑使用下面两种方法。Monte Carlo法：计算机随机模拟方法；即利用计算机产生大量随机样本，然后对这些样本结果进行概率分析，从而来预测结果的方法；它适用于样本例数不够大时（此时用近似法结果不稳定），或者样本例数对于精确概率法过大，计算时间过长的情况。但是该方法如果没有指定随机数种子的话，其概率的计算结果将不是唯一的，它将随随机种子的不同而不同（不同种子计算的概率值差别不大）。最后是Exact即通常所谓的精确概率法，它通过排列组合的计算方法直接计算概率值，特别适用于小样本，但是可能要消耗大量时间（如果样本不是那么的“小”时），并且如果运行超过一定时间会自动停止（系统默认为5分钟），该方法是否会得出结果和计算机性能关系密切！下两表为SPSS官方提出的（SPSS 7.0时代）通常情况下可以考虑适用精确概率法的情况：选择好计算概率的方法后，可以对Options作设定；Statistics中的选项主要针对正态分布的拟合，在本例中可以不作设定；Missing values中的选项含义详见前述t检验。设定结束后提交系统运行，结果如右上图：该表为数据描述表，列出实际频数、理论频数以及两者的差值。下表为最终的统计分析结果：卡方值为8.960，自由度为5，P值为0.111，所以可认为该骰子是均匀的。*注意：如果要检验连续型数据是否满足正态分布、均匀分布、泊松分布或指数分布可直接选用1-Sample K-S命令；如果要分析分类数据是否满足二项分布，可以直接调用Binomial过程。Binomial：该命令用于检验二分类变量值出现的情况是否满足二项分布。例如：掷一枚足球比赛用的挑边器共计50次，其中正面向上出现22次，向下出现28次，问该挑边器是否均匀？资料见硬币.sav。点击weight cases，将频数设定为权重，而后点击Binomial，出现如下窗口：将出现情况移入test variable list中，理论上（无效假设认为是均匀的）每个面出现的可能性为0.5，所以test proportion中为0.5；exact与options中的设定同chi-square。点击OK：由于本例题中样本含量为50，np与n(1-p)均大于5，故系统采用正态近似法（Z Approximation），其P值为0.480，所以认为该硬币是均匀的。*试分析：根据以往经验，新生儿染色体异常的概率为1，某医院观测了当地共136名新生儿，发现1例染色体异常，问该地新生儿染色体异常的概率是否低于一般情况？*Runs：游程检验主要用于分析取值为二分类，并且按时间或某种顺序排列的资料是否其出现的情况为随机的。比如对于某阳性/阴性结果，按照其出现的时间顺序排列：；前面又三个连续的阳性结果作为一个游程，随后连续两个阴性结果作为第二个游程，以此类推，整个序列有六个游程；如果阳性和阴性结果出现的情况是随机的，那么游程的总数既不应该太少（太少意味着缺乏独立性，总体内部存在着一定的趋势或结构，这有可能表示观测值间不独立如传染性疾病，也有可能表示来自不同的总体）同时也不应该太多（如果太多表示总体中存在系统性的短周期波动，那么这样的序列同样不是随机的）。可见游程检验关心的不仅仅是分布位置、形状，它也考虑样本中二分类变量出现的随机性；其检验效能通常认为非常低，因为它只考虑游程数量，却丢弃了绝大部分信息，如果得到阴性结果只能作为参考。例如某村庄发生了食物中毒事件，经过调查初步判断为是由于河水污染而导致；现按照中毒事件的发生大致范围调查了沿河居民的中毒情况，河边33户家庭中毒情况分布如下： 上图中“”表示未发生中毒，“”为有发生中毒，“”为可疑污染源；试分析上述资料是否支持中毒与河水污染有关的假设。如果中毒与污染有关，则中毒情况的分布不是随机的，即在污染源附近的中毒情况较严重，远离污染源的中毒发生的可能性就较小，可以考虑用游程检验分析中毒的序列是否随机。点击Runs：将中毒移入test variable list中，在cut point中选择一个截断值；由于本例结果为二分类，中位数作为截断值与考虑采用算术均数（实际上就是中毒发生率）的结果是一致的；Exact与options的设置同前，由于本例中样本含量较小，所以可以采用Mont Carlo法。设定结束点击OK：以上两个结果为分别采用中位数、均数作为截断值的检验结果；可见两种做法结果一致，P值均小于0.05，故认为中毒应该为河水污染导致。1-Sample K-S：该检验也是拟合优度检验；它分别做出已知理论分布下的累积频数分布以及实际观测的累积频数，对两者进行比较，从中确定两种分布的最大差异点；如果样本资料确实满足该分布，则最大差异值不会太大，否则就认为假设不成立。该命令的功能与chi-square、binomial中的部分功能重复。例如研究者想了解某特殊作业工人的血红蛋白是否满足正态分布，现抽取该人群一个随机样本见血红蛋白.sav：将血红蛋白选入test variable list中，在test distribution中有四种特定分布可供选择：正态分布、均匀分布（uniform）、Poisson分布、指数分布（Exponential）。其余设定同前，由于数据是小样本，故选择Mont Carlo法。设定结束点击OK：该表中列出了正态分布的均数、标准差、理论与实际累积频数间最大离差、检验统计量、以及P值，可见P值为0.351，故结论为该人群的血红蛋白服从正态。二、位置检验：对应教科书上的秩和检验，主要分为完全随机设计（Independent samples）和配对区组设计（Related samples），两种设计方案。位置检验主要着眼于数据分布的中位数是否相同。2 Independent Samples：对10例肺癌和12例矽肺0期工人用X光片测量肺门横径右侧距RD值，结果见RD.sav，问肺癌病人的RD值是否高于矽肺患者。该例题方差不齐，可以考虑采用t检验，其P值为0.056，接近0.05，下结论应该慎重。考虑到本例资料满足使用非参数检验的条件，我们采用成组设计秩和检验，点击2 Independent Samples:该设置界面同成组t检验，先将rd值移入test variable list中，将疾病移入grouping variable中，定义组别如下：其余exact与option设置同前；系统提供了四种秩和检验的方法：Mann-Whitney U：此方法与教材中的Wilcoxon Rank Sum检验法完全等价，用于两样本所对应的总体具有相同的中心位置(中位数)，而不管两总体分布的形状如何，因此通常假定两总体分布的形状相同，只有在这个前提下的中心位置相同才能说是两总体分布相同或两样本来自相同总体；若不能明确两总体分布的形状是否相同，则不宜单独使用，应同时作K-S检验或W-W检验，并对全部结果作综合分析。*Kolmogorov-Smirnov Z检验(又简称K-S检验)是上述提到的Kolmogorov检验用于两个独立样本的情况。如果拒绝H0，结论是两总体分布不相同；此结果尚不足以说明是位置不同、变异程度不同还是偏度不同，这是报告结果时应注意的。其基本原理是分别计算两个样本数据的累积频率，考察在变量值相同的情况下，最大的累积频率差值Dmax，如果Dmax大于D0.05则认为这么大的差值不太可能由随机误差解释，认为两个样本是来自不同的总体。结果中的Z也是渐近统计量，大样本时=0.05和=0.01的界值分别是1.36和1.63，小样本时应读取结果中两个经验分布函数的最大差值查界值表作结论（D0.05和D0.01的经验值为），不可直接利用结果中的P值作结论（除非使用精确概率法）。*Wald-Wolfowitz runs检验(又简称W-W检验)与K-S检验相似，同样用于分析两个样本是否来自相同的分布，但其功效不如K-S检验；此方法实为Runs过程用于分析两个独立样本的情形。其原理是将两个样本数据混合，按照大小排序，相同样本的数据为一个游程，如果两个样本的数据来源于相同总体则游程数不会太多也不会太少，否则就会怀疑是否来自相同总体。与K-S检验类似，如果结论是两总体分布不相同，此方法尚不足以说明是位置不同、变异程度不同还是偏度不同，报告结果时也应注意。若两样本有相同观察值，结果中提供最大和最小游程个数以及相应的P值，当依此两P值所作的结论相矛盾时，须计算平均游程个数，然后查表作结论或用正态近似法作检验。此过程自动地根据样本大小给出确切概率或正态近似法的结果。*Moses Test of Extreme Reactions检验注重于对分布变异程度作检验（即前面的方法都是分析集中位置，而该法分析分布中的极端值），所以通常它不单独使用，而是和前面三种方法中的某一种或多种结合使用，而且特别适用于数据中有两级分化倾向的情况。实际是检验两样本所对应的总体的分布范围是否相同。其思想为：假设有一组为对照组（数据中没有两级分化情况），另外一组为测试组（数据中有两级分化），先将两组数据合并，按数据大小排序，计算合并后对照组中数据的最大与最小秩次间的差值（Observed control group span），由于在样本含量较少时该差值不太稳定，所以通常计算的是去处两端各2.5%极端值后的秩次差（Trimmed control group span）；如果测试组中没有极化效应，那么这个差值应该和两组没有合并前对照组中的秩次差（用对照组的观测例数减去两端5%的个数）想去无几；否则原假设就可能不成立。（须注意在SPSS中对照必须放在group1，测试组为group2）点击OK：最先系统给出了两组的平均秩次和两组的秩次和以上四个表格分别为系统提供的四个检验的结果，结合Wilcoxon W与K-S检验结果认为肺癌病人的RD值高于矽肺患者。（Wilcoxon W检验单侧P值为0.04，K-S检验结果单侧P值为0.019）K Independent Samples：该过程相当于上述命令的扩展，例如超过2组时。用三种药物杀灭钉螺，每批使用200只，计算每批钉螺的死亡率，结果见钉螺.sav，问三种药物的效果有无差别。其操作过程同两样本，不过系统提供了另外三种检验方法供选择：Kruskal-Wallis H检验：详见教科书。Median：其思想为将所有样本数据合并，计算中位数，分别合计每个分组中超过与小于中位数的频数，整理成RC表，用Pearson卡方检验分析。Jonckheere-Terpstra：该方法原理较复杂，详细见其他参考资料（SPSS完整版的帮助文件中有其详细的计算公式；该方法计算J-T统计量，在小样本时通过查J-T统计量分布表求概率值，大样本时统计量近似正态分布，可以使用Z值表）。它的统计学效能在三种方法中最高，而且主要用于分组变量呈等级变化（如药物计量分为低、中、高）的多组间比较，可以得到是否随着等级的变化，因变量呈现某种变化趋势（具有趋势检验的功能）。在本例中由于药物为无序多分类，所以出现显著性结果只能提示三组间不全相同。以下是三种统计学方法的结果：可见三种结果是一致的，P值均小于0.05，故认为三种方法不全相同；如同方差分析，要得到具体的两两比较结果还需要进一步分析，比如使用select cases选择两组而后比较，但是需要将a调整为0.05/3；或使用教科书上的Nemenyi法进行两两比较。2 Related Samples：该命令相当于配对t检验的非参数版本；即检验相关样本观测对象间的差值是否是以0为中心。例如将12份血清分别使用两种方法检测谷丙转氨酶，见文件谷丙转氨酶.sav，问两种方法有无差别。由于患者的谷丙转氨酶变化幅度十分大，有可能不满足t检验分析的条件（差值正态性），所以考虑采用非参数检验方法。*请注意由于要计算差值，所以数据输入的格式同配对t检验将原法与新法选上移入test pairs list中，以下有四中方法供选择；默认为Wilcoxon signed rank test（其原理见教科书）；Sign：符号检验，其具体过程同wilcoxon