统计学非参数检验演示文稿

统计学非参数检验演示文稿当前第1页\共有91页\编于星期四\7点方法的回顾单个因素（两水平）的作用评价：两组比较完全随机设计下的单因素两组比较匹配设计的两组比较单个因素（多水平）的作用评价：多组比较完全随机设计下的单因素多水平比较两个因素的分析问题无交互作用、有交互作用当前第2页\共有91页\编于星期四\7点单因素两组比较：t检验完全随机两组均数比较的t检验（独立t检验）匹配设计下两组均数比较的t检验（匹配t检验）单因素多组比较：方差分析完全随机设计下的多组均数比较当前第3页\共有91页\编于星期四\7点局限性t检验独立t检验要求：正态、方差相等（或不相等）、个体独立匹配t检验要求：差值正态、个体独立方差分析单因素多水平比较方差分析要求：正态、方差相等、个体独立当前第4页\共有91页\编于星期四\7点未解决问题两组性别结构是否相同？疗效用痊愈、显效、有效、无效四级分类法进行评价时，两组或多组如何比较？如何检验样本数据来自的总体服从正态分布？总体不是正态分布，小样本情况下，如何检验总体的集中趋势？有6名歌手参加比赛，4名评委进行评判打分，推断评委的评判标准是否一致……当前第5页\共有91页\编于星期四\7点参数检验：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。当前第6页\共有91页\编于星期四\7点非参数检验（nonparametrictests）又称为任意分布检验（distribution-freetest），它不考虑研究对象总体分布具体形式，也不对总体参数进行统计推断仅仅依赖于数据观测值的相对大小(秩)等，而是通过检验样本所代表的总体分布形式是否一致来得出统计结论。当前第7页\共有91页\编于星期四\7点非参数统计的名字中的“非参数(nonparametric)”意味着其方法不涉及描述总体分布的有关参数；它被称为“和分布无关”(distribution—free)，是因为其推断方法和总体分布无关；不应理解为与所有分布(例如有关秩的分布)无关．当前第8页\共有91页\编于星期四\7点对总体假定较少，有广泛的适用性，结果稳定性较好。假定较少不需要对总体参数的假定与参数结果接近针对几乎所有类型的数据形态。容易计算在计算机盛行之前就已经发展起来。非参数检验的优点当前第9页\共有91页\编于星期四\7点可能会浪费一些信息特别当数据可以使用参数模型的时候大样本手算相当麻烦一些表不易得到非参数检验的弱点当前第10页\共有91页\编于星期四\7点已知总体分布类型，对未知参数进行统计推断依赖于特定分布类型，比较的是参数

参数检验（parametrictest）

非参数检验（nonparametrictest）对总体的分布类型不作严格要求不受分布类型的影响，比较的是总体分布位置优点：方法简便、易学易用，易于推广使用、应用范围广；可用于参数检验难以处理的资料(如等级资料，或含数值“>50mg”等

)缺点：方法比较粗糙，对于符合参数检验条件者，采用非参数检验会损失部分信息，其检验效能较低；样本含量较大时，两者结论常相同当前第11页\共有91页\编于星期四\7点非参数检验的特点非参数检验不需要严格假设条件，因而比参数检验有更广泛的适用面。非参数检验几乎可以处理包括定类数据和定序数据在内的所有类型的数据，而参数检验通常只能用于定量数据的分析。在参数检验和非参数检验都可以使用的情况下，非参数检验的功效（power）要低于参数检验方法。当前第12页\共有91页\编于星期四\7点以下情况下应当首选非参数方法参数检验中的假设条件不满足，从而无法应用。例如总体分布为偏态或分布形式未知，且样本为小样本时。检验中涉及的数据为定类或定序数据。所涉及的问题中并不包含参数，如判断某样本是否来自正态分布等，判断某样本是否为随机样本。当前第13页\共有91页\编于星期四\7点常用的非参数检验方法用于单个样本的c2拟合优度检验、K-S拟合优度检验、中位数的符号检验用于两个匹配样本的Wilcoxon符号秩检验用于两个独立样本的Wlicoxon秩和检验用于多个独立样本的Kruskal-Wallis检验。当前第14页\共有91页\编于星期四\7点第六章非参数检验非参数检验概述非参数检验、特点及应用单样本的非参数检验两个样本和多个样本的非参数检验当前第15页\共有91页\编于星期四\7点单样本的非参数检验c2拟合优度检验K-S拟合优度检验中位数的符号检验分类数据检验分布对中位数的推断当前第16页\共有91页\编于星期四\7点c2统计量用来测定定类变量之间的相关程度c2统计量的分布与自由度有关；c2统计量描述了观察值与期望值的接近程度当前第17页\共有91页\编于星期四\7点拟合优度检验（goodnessoffittest）用c2统计量进行统计显著性检验的重要内容之一；依据总体分布状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望频数与观察频数是否有显著差异，从而达到对分类变量进行分析的目的。当前第18页\共有91页\编于星期四\7点1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有2208人，其中男性1738人，女性470人。海难发生后，幸存者共718人，其中男性374人，女性344人，以显著性水平为0.1检验存活状况与性别是否有关？当前第19页\共有91页\编于星期四\7点提出零假设和备择假设H0：观察频数与期望频数一致H1：观察频数与期望频数不一致计算期望频数男性的期望频数，女性为153人计量c2统计量查表（自由度为类别数-1）做出判断：决绝原假设，认为存活状况与性别显著相关当前第20页\共有91页\编于星期四\7点一种饮料的容器材料可以选择玻璃、塑料或者金属。为了比较消费者对包装材料的偏好，抽样调查了120名消费者发现，最喜欢玻璃、塑料和金属容器的分别有55、25和40人。根据调查结果，能否认为消费者对3种材料的偏好程度是无差异的（显著性水平a=0.05）？当前第21页\共有91页\编于星期四\7点分析如果消费者对3种材料的偏好程度是无差异的，也就是说消费者对材料的偏好服从均匀分布，则理论上来说，调查120名消费者，偏好每种材料的人数应该是相等的，也就是40人。各组观测到的人数与理论人数（期望值）之间的差异应该都是由于抽样的随机性造成的，因此不应该太大。如果二者之间的差异特别大，则说明我们所作的假设（消费者对3种材料的偏好程度是无差异的）很可能不成立。当前第22页\共有91页\编于星期四\7点检验统计量k是样本分类的个数，表示实际观察到的频数，表示理论频数。观察频数与期望频数越接近，则c2值越小。根据皮尔逊定理，当n充分大时，c2统计量渐近服从于k-1个自由度的c2分布。当前第23页\共有91页\编于星期四\7点软件操作：数据录入当前第24页\共有91页\编于星期四\7点软件操作：方法设定选择“分析”“非参数检验”“卡方”，在弹出的对话框中将“材料”设定为检验变量；单击对话框中的“精确…”，选中弹出对话框中的“精确”，单击“继续”、“确定”当前第25页\共有91页\编于星期四\7点软件操作：结果分析（1）观察数期望数残差1.005540.015.02.002540.0-15.03.004040.0.0总数120当前第26页\共有91页\编于星期四\7点软件操作：结果分析（2）材料卡方11.250df2渐近显著性.004精确显著性.003点概率.000当前第27页\共有91页\编于星期四\7点结果分析（3）结论：计算出的c2统计量的值为11.250，自由度为2，相应的p值（渐近显著性）为0.004，小于a=0.05。所以检验的结论是拒绝总体中消费者对3种材料的偏好程度无差异的零假设。当前第28页\共有91页\编于星期四\7点特别说明大样本、每个单元中的期望频数大于等于5时可以使用c2分布。小样本时应该按照精确方法计算得到的p值得出结论。c2检验也可以按照同样的思想对正态分布或者任何想象的其他分布进行检验，但主要用于对定性变量的检验。另外，c2检验也可以用于对两个总体分布的比较。当前第29页\共有91页\编于星期四\7点单样本的非参数检验c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K-S拟合优度检验中位数的符号检验检验分布当前第30页\共有91页\编于星期四\7点单样本K-S检验检验总体分布是否为理论分布（正态、Possion、均匀、指数）是以两位苏联数学家Kolmogorov和Smirnov命名的，全称为Kolmogorov-Smirnov检验。通过对两个分布差异的分析确定能否认为样本的观察值来自所设定的理论分布总体。当前第31页\共有91页\编于星期四\7点定义，显然若对每一个x值来说，如果经验分布函数与特定分布函数的拟合程度很高，则有理由认为样本数据来自具有该理论分布的总体。检验统计量：根据检验统计量的精确分布或渐进分布，可以计算出假设检验的p值，从而得出检验的结论。当前第32页\共有91页\编于星期四\7点SPSSK-S检验中检验统计量Z的计算当前第33页\共有91页\编于星期四\7点SPSSK-S检验中p值的计算当前第34页\共有91页\编于星期四\7点有100名儿童每周看电视时间的数据（数据文件：电视时间.sav）。检验能否认为总体中儿童每周看电视的时间服从正态分布（显著性水平a=0.05）。这里K-S检验的零假设和备择假设为：H0：总体中儿童每周看电视的时间服从正态分布。H1：总体中儿童每周看电视的时间不服从正态分布。当前第35页\共有91页\编于星期四\7点当前第36页\共有91页\编于星期四\7点在SPSS软件中打开数据文件，选择“分析”“非参数检验”“1样本K-S”，在弹出的对话框中将“时间”设定为检验变量；检验分布为默认的“常规”（正态分布）。单击“确定”当前第37页\共有91页\编于星期四\7点时间N100正态参数a,,b均值27.191标准差8.3728最极端差别绝对值.096正.096负-.039Kolmogorov-SmirnovZ.960渐近显著性(双侧).315当前第38页\共有91页\编于星期四\7点检验结论相应的p值（渐近显著性）为0.315。由于0.315大于0.05，所以在5%的显著性水平下不能拒绝原假设，也就是说根据样本数据不能认为总体分布是非正态的。注意这里并不能得出总体服从正态分布的严格结论。总体服从正态分布的结论可能犯第二类错误（取伪错误），这个概率是未知的，在有些情况下可能会很大。当前第39页\共有91页\编于星期四\7点特别声明在K-S检验中如果使用的是小样本，则根据渐进分布计算p值的误差会增大。这时应该通过相应的设定要求软件输出精确检验的p值，根据精确检验的p值得出检验结论。K-S检验也可以用于对两个总体分布是否一致的检验。当前第40页\共有91页\编于星期四\7点单样本的非参数检验c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K-S拟合优度检验检验总体分布形态中位数的符号检验对中位数的推断当前第41页\共有91页\编于星期四\7点单样本中位数的检验秩符号检验Wilcoxon符号秩检验当前第42页\共有91页\编于星期四\7点秩（rank）是指全部观察值按某种顺序排列的位序；通常是将数据按照升幂排列之后，每个观测值的位置，秩次在一定程度上反映了等级的高低。下面一行Ri就是上面一行数据Xi的秩。当前第43页\共有91页\编于星期四\7点数据中有相同的数值，称为结。结中数字的秩为它们所占位置的平均值Xi159173178513719Ri758.518.5426310当前第44页\共有91页\编于星期四\7点A组：－、、+、+、+、+、++、++、++、++、+++、+++

-±++++++++++++++++++

123456789101112

124.54.54.5

4.58.58.58.58.511.511.5平均秩次=（3+6)/2=4.5当前第45页\共有91页\编于星期四\7点利用秩的大小进行推断就避免了不知道背景分布的困难。这也是非参数检验的优点。多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。当前第46页\共有91页\编于星期四\7点符号检验（signtest）在非正态总体小样本的情况下，如果要对总体分布的位置进行推断，由于t检验不适用，也可使用符号检验的方法。在数据呈偏态分布的情况下，我们可能对总体的中位数更感兴趣，希望对总体的中位数作出推断，这时可以使用符号检验的方法。当前第47页\共有91页\编于星期四\7点例6.3在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？当前第48页\共有91页\编于星期四\7点当前第49页\共有91页\编于星期四\7点符号检验的基本思想：每个数据都减去零假设中的中位数，记录其差值的符号。计算正、负符号的个数（差值为0的不计算在任何一个中）当原假设为真时二者应该很接近；若两者相差太远，就有理由拒绝原假设。当前第50页\共有91页\编于星期四\7点检验统计量原假设成立时，检验统计量S服从二项分布。根据二项分布计算得到p值，从而得出检验的结论。当正号和负号个数之和大于25时，可以按照正态分布进行近似计算。当前第51页\共有91页\编于星期四\7点例6.3在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？当前第52页\共有91页\编于星期四\7点在SPSS中打开数据文件。为了对中位数进行检验，先在SPSS中生成一个新的变量Median，取值为5000：单击“转换”“计算变量”，在弹出的对话框中按照图6-3进行设置，单击确定。当前第53页\共有91页\编于星期四\7点选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“Median”和“家庭月收入”设定检验的一对变量；选中“符号检验”，取消选择“Wilcoxon”，单击“确定”

当前第54页\共有91页\编于星期四\7点当前第55页\共有91页\编于星期四\7点用正态分布进行近似计算时，Z统计量的值为-0.129，双侧检验的p值为0.897。由于p值大于0.05，检验的结论是不能拒绝原假设，即没有充分证据证明中位数不等于5000。当前第56页\共有91页\编于星期四\7点特别声明如果样本量较小，则需要使用软件输出的精确检验的p值进行推断在小样本时，如果要求进行精确检验，SPSS会自动按照二项分布进行概率计算。当前第57页\共有91页\编于星期四\7点Wilcoxon符号秩检验符号检验只用到差值的符号，而对差值数值的大小未能考虑，因而失去了部分信息。Wilcoxon符号秩检验既考虑差值的符号，又考虑差值的大小，因此在所需的假设条件满足时其功效比符号检验高。当前第58页\共有91页\编于星期四\7点Wilcoxon符号秩检验计算差值绝对值的秩。将差值绝对值从小到大排序，其位次就是的秩（rank），等于0值不参与排序。分别计算出差值序列中正数的秩和W+以及负数的秩和W-。显然，如果零假设成立，W+与W-应该比较接近。如果二者过大或过小，则说明零假设不成立。将正数的秩和或者负数的秩作为检验统计量，根据其统计分布计算p值，从而可以得出检验的结论。前提假设：样本点来自连续对称总体分布当前第59页\共有91页\编于星期四\7点Wilcoxon符号秩检验计算，将其按照大小排序，得到的秩；把的正负号加到相应的秩上；计算计算检验统计量做出判断，W太小时，决绝零假设当前第60页\共有91页\编于星期四\7点当前第61页\共有91页\编于星期四\7点第六章非参数检验非参数检验概述非参数检验、特点及应用单样本的非参数检验c2拟合优度检验、K-S检验、中位数的符号检验及Wilcoxon符号秩检验两个样本和多个样本的非参数检验当前第62页\共有91页\编于星期四\7点两个样本和多个样本的非参数检验两个匹配样本的Wilcoxon符号秩检验两个独立样本的Wlicoxon秩和检验多个独立样本的Kruskal-Wallis检验当前第63页\共有91页\编于星期四\7点匹配样本的非参数检验如果t检验的假设条件不满足，t检验就不适用了。符号检验和Wilcoxon符号秩检验都可以用做替代的检验方法。用样本数据中对应的数值相减得到新的序列：零假设：差值总体的中位数=0；备择假设：差值总体的中位数≠0。当前第64页\共有91页\编于星期四\7点例6.4从实施适时管理（JIT）的企业中随机抽取10家进行效益分析，得到它们在实施JIT前后三年的平均资产报酬率（数据文件：JIT管理.sav）。在5％的显著性水平下企业在实施JIT前后的资产报酬率是否有显著差异？当前第65页\共有91页\编于星期四\7点当前第66页\共有91页\编于星期四\7点在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“JIT后”和“JIT前”设定检验的一对变量；选中“Wilcoxon”和“符号检验”。由于这里样本量很小，我们要求进行精确检验：单击对话框中的“精确…”，选中弹出对话框中的“精确”，单击“继续”、“确定”当前第67页\共有91页\编于星期四\7点符号检验结果（1）NJIT前-JIT后负差分a7正差分b3结c0总数10当前第68页\共有91页\编于星期四\7点符号检验结果（2）结论：不能拒绝零假设，没有证据表明小于企业在实施JIT前后的资产报酬率有显著变化JIT前-JIT后精确显著性（双侧）.344a精确显著性（单侧）.172点概率.117当前第69页\共有91页\编于星期四\7点Wilcoxon符号秩检验结果（1）N秩均值秩和JIT前-JIT后负秩7a4.3630.50正秩3b8.1724.50结0c总数10当前第70页\共有91页\编于星期四\7点Wilcoxon符号秩检验结果（2）JIT前-JIT后Z-.307a渐近显著性(双侧).759精确显著性（双侧）.787精确显著性（单侧）.394点概率.020当前第71页\共有91页\编于星期四\7点两个独立样本的Wlicoxon秩和检验在两个独立样本的t检验不适用时，Wlicoxon秩和检验可以作为一种替代的非参数检验方法使用。这一检验可以用来对两个总体的中位数进行检验。当前第72页\共有91页\编于星期四\7点基本原理如果两个总体具有相似的分布形状，并且中位数相同，那么由m个x、n个y组成的m十n＝N个观察值可以被看作来自同一总体的一个随机样本。将全部x和y从小到大排序确定每个数值的秩，然后计算m个x的秩的和Wx

、n个y的秩的和Wy

。由于抽样的随机性，x、y应较均匀地分布在混合排列的样本中。如果零假设成立，在样本量相同的情况下两个秩和应该比较接近；样本量不同的情况下平均秩和的平均秩应该比较接近。否则就说明两个总体的中位数是不相等的。当前第73页\共有91页\编于星期四\7点由于对称性，两个秩和Wx、Wy都可以用作Wilcoxon秩和检验的检验统计量。SPSS软件中使用的是平均秩较小的一组的秩和。统计量W的统计分布可以精确推导出来在样本量较大时（m和n都不小于10）可以用正态分布来进行近似。得到p值之后，再通过比较p值和a的大小得出结论。当前第74页\共有91页\编于星期四\7点相关说明由于Wilcoxon秩和检验与Mann和Whitney提出的U检验完全等价，因此这种方法也被称为Wlicoxon-Mann-Whitney检验，或者Mann-WhitneyU检验。在样本量较小时，应当使用精确检验的结果严格来说用Wilcoxon秩和检验对中位数进行假设检验，需要假定两个总体分布有类似的形状才能得出可靠的结论。当前第75页\共有91页\编于星期四\7点例6.5已知某企业职工的收入调查中20名本科毕业生和15名研究生的月收入（元）（数据文件：本科研究生收入.sav），试比较本科生和研究生的收入水平（显著性水平a=0.05）。当前第76页\共有91页\编于星期四\7点分析由于收入一般是右偏分布，因此不适合用t检验进行分析。我们用Wilcoxon秩和检验来比较两个总体的中位数。检验的零假设和备择假设如下：H0：本科和研究生月收入的中位数相等；H1：本科和研究生月收入的中位数不相等。当前第77页\共有91页\编于星期四\7点在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个独立样本”，在弹出的对话框中将“月收入”设定为检验变量，“学历”设定为分组变量，然后单击“定义组”，按照“学历”的取值进行设定，然后单击“继续”，检验类型使用默认“Mann-WhitneyU”，单击“确定”

当前第78页\共有91页\编于星期四\7点结果分析：学历N秩均值秩和月收入本科2013.55271.00研究生1523.93359.00总数35当前第79页\共有91页\编于星期四\7点根据精确检验的p值，在显著性水平大于0.002时我们应该拒绝原假设，结论是本科与研究生的收入的中位数不相等。月收入Mann-WhitneyU61.000WilcoxonW271.000Z-2.967渐近显著性(双侧).003精确显著性[2*（单侧显著性）].002a当前第80页\共有91页\编于星期四\7点多个独立样本的Kruskal-Wallis检验Kruskal-Wallis检验是Wlicoxon秩和检验的推广，用来对多个总体的中位数进行比较。在单因素方差分析模型不适用于所研究的问题时，Kruskal-Wallis往往是一种可以替代的非参数检验方法。当前第81页\共有91页\编于星期四\7点基本原理Kruskal-Wallis检验也是根据秩和来构造检验统计量的。将所有样本的数据合在一起，从小到大排序得到每个数值的秩，然后计算各样本的秩和以及平均秩。如果各组没有显著性差异，则各组的平均秩应该趋于相等；如果各组的平均秩相差较大，则各组中位数有显著性差异的可能性较大。当前第82页\共有91页\编于星期四\7点检验统计量当前第83页\共有91页\编于星期四\7点基本原理：当样本组数k，每组样本样本容量ni不是很小时，检验统计量H的抽样分布近似服从自由度为k-1的