非参数统计翻译7

第七章中位数和百分位数的置信区间7.1旧方法：以t分布为基础计算均值置信区间我们知道如何用t公式找出平均值u的95%的置信区间。x土x土t0.025\：n利用R中t检验函数很容易计算该置信区间。然而，当以假设为基础的常规理论不被满足时，我们可以转而寻找总体中位数M的95%的置信区间来替代非参数。这不是简单的任务，但如果你能遵循置信区间构造逻辑，它是可行的。此外，该程序可以很容易地推广到除中位数外的百分数(例如，我们可以找到四分之一分位数置信区间，80%分位数置信区间等)。7.2中位数M的非参数置信区间回顾构造置信区间的基本概念：利用95%的置信区间来估计一些总体非参数°,我们需要找到两个常数c和c，使得12p(c<0<c)=0.95.12区间(c,c)被认为是非参数0在95%的置信度下的置信区间。在总体均值M下，我12们想要找到中位数的上极限Ml和下极限Mu使得p(M<M<M)=0.95.L U假设我们的样本包括n个变量值XXX•我们知道任何一个变量值下降高于或1, 2, n(低于)中位数M的概率为0.5。我们已经建立了，它的样本值都在中位数以上，T统计量将是一个随机变量并且服从x〜B(n,0.50)二项式抽样分布。从寻找中位数M边界置信区间开始，由于p二0.5，所以我们可以充分利x〜B(n,0.50)二项式抽样分布是对称分布这一事实，任何变量值高于中位数M或低于中位数M概率都是相同的。(如果p丰0.5，则不满足)。为了说明这一点，这里有三种P二0.5的不同的二项式抽样分布，

己一5匚①0o0 10 20 30 40 己一5匚①0o0 10 20 30 40 50Numberofsiiccess50Numberofsuccess100 150 200将变量值X⑴,X(2), X(n)按从小到大的顺序排列(即X(1)<X⑵<X⑶<•……X(n))。由于对称性，但这些数据按顺序放置时，在每个端点处，中位数M的置信区间的端点的数值相同。因为只有观察有限数量的样本，这将导致考虑在可能的间隔内的有限数量。所以对于(MM)可能的函数值有L,U(X(1),x(n))，(x(2),x(n-1))，(x(3),X(n一2))，....下面我们来看一个例子。例：睡眠模式。关于阿格纽睡眠模式的研究。通过测量16个年龄在50岁和60岁之间身心健康的男性在0级睡眠的时间占总睡眠时间的百分比。以下是相关数据：0.070.691.741.901.992.413.073.083.103.533.714.01&11&239.1010.16找到在0级睡眠时间真实中位数百分比的95%的置信区间。我们将输入的数据转换成一个R向量，然后储存它：〉x<-c(0.07,0.69,1.74,1.90,1.99,2.41,3.07,3.08,3.10,3.53,3.71,+4.01,8.11,8.23,9.10,10.16)x.sorted<-sort(x)x.sorted[1]0.070.691.741.901.992.413.073.083.103.533.714.01[13]8.118.239.1010.16M置信区间可能取值有(0.07,10.16), (0.69,9.10)， (1.74,8.23)等。剩下的唯一要做的是找到与这些区间关联的置信度水平。我们希望为我们的答案，找到最窄的置信区间。逻辑。为了展示这是如何工作，我们考虑区间(0.07,10.16)。这是最大的置信区间，如果M不在数据的范围之内，它将无法覆盖M。如果发生这种情况，那么要么所有的样本值都高于M或都低于M，所以超过M随机样本的变量值必须满足T=0(都不满足)或者T=16(都满足)。因为T服从二项分布x〜B(16,0.5),所以概率为dbinom(0,16,.5)+dbinom(16,16,.5)[1]3.051758e-05因此“未能覆盖”的概率，覆盖概率，或置信水平是1-(dbinom(0,16,.5)+dbinom(16,16,.5))[1]0.9999695区间(0.07,10.16)是M的99.99695%的置信区间。这实现了我们所期望的95%的置信水平，但是该区间可能太宽。如果我们移动到下一个最宽的区间(0.69,9.10)呢？因为该区间更窄，所以它的置信水平就更低。但是，如果它仍然在95%以上，那么说明它比区间(0.07，10.16)更好。通过使用上述相同的逻辑，除非T>1或T<15，否则区间(0.69,9.10)将无法覆盖M。区间(0.69,9.10)的覆盖概率为>1-sum(dbinom(c(0,1,15,16),16,0.5))[1]0.9994812如果你希望看到这趋势发展。如果继续这个过程，将得到以下的结果:CutpointlocationsIntervalendpointsConfidencelevel0infromeachend(0.07,10.16)0.99996951infromeachend(0.69,9.10)0.99948122infroineachend(1.74,8.23)0.99581903infromeachend(1.90, 1)0.97872924infromeachend(1.99,丄01)0.9231873因此，M的95%的置信区间是。因此我们知道年龄在50岁至60岁之间的健康男性0级睡眠时间占总睡眠时间的中位数百分比的95%置信区间是(1.90,&11)。注意事项:1•当样本n非常小的和样本二项分布x〜B(n,0.5)是高度离散的，实际的置信水平与95%的置信水平有一些差别。(由明尼苏达大学的查尔斯•格耶和格伦•麦所提出的一个著名的模糊置信区间方法试图解决这个问题，这里不再赘述。)上面的方法是比较保守，也就是说，它产生的置信水平，将永远不会低于既定置信水平的区间。然而，这可能会导致一个间隔较宽(不太精确)置信水平。3•该过程可以概括为寻找置信区间百分比的中位数(50%分位数)等。下面是定制R函数，自动化上面的过程，并发现对于任何百分位数都是广义非参数置信区间。pctile・ci<-function(x,p=0.5,conf.level=0・95){Producesanexactconfidenceintervalonthe100*pthpercentile,basedonthebinomialtest,wheretiedvaluesareexcluded.#、isthevectorofobservations.'p*isthepercentileofinterest(e.g.p=0.5->50thpercentile=median)・'conf・1evel'istheconfidencelevel(between0and1)forthereturnedCT・delta<-(max(x)-min(x))/lelOxgrid<-c(x,x+deltarx-delta)value・in.ci<-rep(NA,length(xgrid))for(iiiin1:length(xgrid)){xl<-c(sum(x<xgrid[iii])tsum(x>xgrid[iii]));n<-sum(xl)value・in.ci[iii]<-binom・test(xl,ntp,alternative= sided",conf・1evel)$p・・1evel}-'ci<-c(min(xgrid[value・in・ci])[,max(xgrid[value・in・ci]))result<-as.data・f工ame(list(percentile=p,lower=ci[1]rupper=ci[2]))class(resuit)<-ntable11result下面是在载入一个R函数执行后，前面的例子：〉x<-c(0.07,0.69,1.74,1.90,1.99,2.41,3.07,3.08,3.10,3.53,+3.71,4.01,8.11,8.23,9.10,10.16)>pctile.ci(x)percentilelowerupper0.51.98.114•如果n过小或者所要求的百分位是太极端了，上述过程可以分解(即无法产生可信限)。例如，它可能会为一个给定的数据集来计算总体中位数的置信区间，但它可能无法找到一个百分之九十八分位数的置信区间。5•如果n很小，这些方法相对来说是粗糙的，但它们仍然是有用的。7.3采用大样本正态逼近中位数/百分位数置信区间回顾一下，如果二项分布x〜B(n,p)并且满足np>10,(1-n)p>10,那么近似正态分布:T逼近芒(u=np,6=^(1-n)p)因此用这些大样本，我们可以用一个95%的正态分布捕获“区域”，以确定其中95%置信区间的边界。步骤如下：检验是否满足np>10且(1-n)p>10将这些变量值按从小到大的顺序的排列(记为X(1)<X⑵<X⑶<…….X(n))要计算人口百分位数95%的置信区间，找到下列指数：L=np—1.96\：：np(1-p)•将L四舍五入到高阶整数。U=np+1.96*np(1-p).将U四舍五入到高阶整数。4•百分位数的95%的置信区间是((X(l),X(U)).例：犯罪率。一位犯罪学家为研究在美国中型县中教育水平和犯罪率水平之间的关系,收集的数据为84个县中随机抽取。将两个变量进行测量：样本中至少具有高中文凭的百分比，以及犯罪率(报告为每10万居民的犯罪数量)。该数据出现在我们的库的文本文件crimerate.txt中。发现并解释在所有大中型美国的县中犯罪率分布的75%分位数的90%的置信区间。解决方案：我们读取该文本文件到名为crimerateR的数据框，检查这两个变量的名称，然后提取犯罪率变量转换成自身的向量：〉site<-"/hughesmr/sta333/crimerate.txt"crimerate<-read.table(site,header=TRUE)names(crimerate)[1]"rate""pct.diploma"rate<-crimerate$rate现在我们按照步骤求四分之三分位数的置信区间：1•检验是否满足np>10且(1-n)p>10:length(rate)*0.75>10[1]TRUElength(rate)*(1-0.75)>10[1]TRUE2.将这些变量值按从小到大的顺序的排列:>sort.rate<-sort(rate)3•求出90%置信区间相应的端点有序索引:L<-length(mte)*0.75+qnorm(0.05)*sqrt(length(rmte)*0・75*(1-0・75))U<一length(rate)*0・75+qnorm(0・95)*sqrt(length(rate)*0・75*(1一0・75))L[1]56・47219U[1]69・52781ceiling(c(LrU)) #theRfunctionceiling()alwaysroundsup[1]57704•找到90%的置信区间indices<-ceiling(c(L,U))sort.rate[indices][1]82209697对于调查的所有的中型美国县中犯罪率的四分之三位数90%的置信区间是每10万居民犯罪数在8220到9697之间。注：以下是采用7.2节所述的精确的二项分布方法求得的相同的置信区间pctile.ci(rate,p=0.75,conf.level=0.90)percentilelowerupper0.75 8179 9697因此，正太逼近效果是相当不错的。当n值越大时，逼近效果更好。使用R做下列各题。使用尽可能通用的R代码指令，并且还尽可能高效。1•成年美国人每天睡眠时间平均7.8小时。您认为大学生睡眠少于这个平均值，那么你收集的在迈阿密的15名大学生进行随机抽样，并获得其准确的每天的睡眠量(以小时计),数据如下：6.74.56.48.65.58.25.97.54.46.06.38.37.35.710.1将这些观测值按从小到大顺序排列，并将区间(4.5，8.6)，作为对穆大学生的天真实睡眠时间的置信区间，计算相关的置信水平。b.找到M以90%的置信区间。使用R函数pctile.ci()。解释在文中的时间间隔。2根据R中uwecsample数据，其中包含从UWEC本科生样本的当前数据。我们尤其对学生高中百分位排名（根据数据变量HSP）感兴趣。找到所有UWEC本科生中位数高中排名百分位数均值的95%的置信区间。使用已建立的R函数pctile.ci（）。并解释在文中的置信区间。你怎样解释a和b结果的差异找到所有UWEC本科生的高中排名的70%百分位数的95%的置信区间。（我知道这听起来很绕口，但仔细想一分钟）。并解释在文中的置信区间。第8章配对数据测试：符号检验8.1成对样本我们现在要看看几个用于分析成对（或匹配）方法样本•并以这样的方式收集两个总体的随机样本，这样每个样本的每个值可以与其他样本确定的值有效配对或匹配。这通常是通过对一组受试者测量相同属性的两倍（即在两种不同的情况下）来完成。例：猴子的刺激一位生理学家想知道猴子更喜欢的大脑区域A的刺激，还是大脑区域B的刺激。在实验中，14只猕猴被指导按下两个键。当灯亮起时，压在灯1上的总是导致区域A的刺激;压在灯2上的总是导致区域B的刺激。学习按下键之后，对猴子进行15分钟的测试，记录下在段时间内按下两个键的频率。频率越高，优先级越高。数据显示在右边。这是成对的数据的一个例子，因为每个测试者（猴）都被测试了两次。

SubjectBarIBar2120402182532438斗1427553162621715328293891525109181125321231281335338.2旧方法:成对t检验以及使用t检验求置信区间29H。：H。：M1_M2—0vs.Ha：MH。：M1_M2—0vs.Ha：MHo：M1_M2—0vs.Ha：M1-M2工0 （双侧检验）1-卩2>0 （上尾检验）1-M2<0 （下尾检验）这里u是第一总体均值，u是第二总体均值。回顾一下那些成对数据，我们12可以对每个匹配对di=x1i-x2i形成样本差异。然后对总体均值之差d的估计,我们据此求出相应的SE标准误差。dt检验统计量和95%置信区间分别由下式给出d—0t二 和d土t xSESE 0.025dd这些都可以在R中使用t检验、采用配对为真选项来完成。例：厌食症的治疗.神经性厌食症是在年轻女性中一个严重的饮食失调症。接受家庭治疗之前和接收家庭治疗之后的文件anorexiatherapy,txt数据提供的17名年轻厌食症妇女的重量(磅)家庭治疗对厌食症的年轻女性平均重量有没有显著作用呢？解决方案。在研究的问题上没有特定的方向，所以我们将采用双侧检验。把文件读入R的数据框(命名为anorexiatherapy)后，我们运行测试：site<-"http://www・users・muohlo・edu/hughesmr/sta333/anorexiatherapy・txtnanorexiatherapy<-read・table(site,header=TRUE)attach(anorexiatherapy)t・test(wt・beforefwt・after,paired=TRUE)Pairedt-testdata: wt.beforeandwt・aftert=一4・1849,df=16,p-value=0・0007003alternativehypothesis:truedifferenceinmeansisnotequalto095percentconfidenceinterval:一10・944712 一3・584700sampleestimates:meanofthedifferences一7・264706该数据由两个数值列（wt.before和wt,after）构成的。我们在t检验中引入双边检验来测试配对t检验。自由度为16的t统计值是-4.185，并且p值是0.0007。因为p〈0.05,则拒绝原假设H°。因此说明家庭治疗对厌食症的年轻女性平均重量有显著性影响。相应的95%置信区间为u u 为（-10.94磅，-3.58磅）。wt.before wt.after该时间间隔pwt.before-pwt.after是完全负值，所以我们认为，在治疗之前，真实的平均体重比治疗后的3.58磅到10.96磅低。但要记住••••配对t检验是一种参数检验。为什么呢？由于调查结果的有效性取决于对差分值的总体正态假设。在非参数统计，但是，我们要拿出两个总体进行比较的一种方式（治疗后治疗前，如权重与权重;大脑区域A对脑区域B的激励水平，等等），不需要这个假设。这是本节的主题。8.3符号检验配对样本符号检验是最简单非参数检验之一。它是用于相同的受试者（如上面给出的两个例子）重复测量的配对样本使用。符号检验唯一的假设是：1•将样本随机采集。该数据是在（x,y）成对数据形式，其中：・X是第一个样本的配对数据值i・Y是第二个样本的配对数据值i2•测量值至少是有序的（即个体值至少是有序的）逻辑：对于每一个函数，从第一个配对函数值减去第二个配对函数值，然后写下不同的符号。（也就是说，如果差值为负，记为“-”；如果差值为正，记为“+”。）如果值是一样的，则说明它们是被束缚的：通常我们从测试中删除这样的对…但后来这样的对会更多。X-Y>0T指定该配对为+TOC\o"1-5"\h\zi iX一Y<0T指定该配对为-i iX-Y=0T该值被束缚：通常从总体中去掉改组配对数据值i i通常该检验的原假设是，有两个中位数值M和M之间没有差异。如果是这样，那X Y么“+”号（或“-”号，对于这个问题）的数量满足n为受试者人数和p=0.5二项式抽样分布。换句话说，符号检验仅仅是一个使用“+”和-”代替“成功”和“失败”的二项式测试。假设：假设如下H:M=M H:M丰M（双侧检验）TOC\o"1-5"\h\z0X Y aX YH:M>M（上尾检验）a X YH:M<M（下尾检验）a X Y与之前一样，根据相关研究问题挑选合适的H。a

检验统计量:让T等于所有为“+”的个数。检验统计量的原分布。于解开对的数目。如果原假设H0为真,那么二项分布x〜B（n'0・50），其中n等p值：根据定义，对于任意假设检验的p值是看到样本值中至少有一对矛盾的H0（和同意H0）作为你的实际样本中观察到的概率。在这种情况下，p值将可能是来自于二项分布B（n，0.50）原分布。然后，我们将该值与预先确定的显著性水平Q相比较。配对样本的符号检验仅仅是p=0.5的二项式检验例如：猴子的刺激。一位生理学家想知道猴子是更喜欢大脑区域A的刺激，还是更喜欢大脑区域B的刺激。在这种情况下，研究人员没有预测一个特定的结果，而是想知道，这两种情况是否不同。因此，另一种假设是无方向性的，也就是说，是双面假设：H:猴子对A和B刺激区域没有偏好0H:有刺激区域A和B之间的偏好a•由于是成对的数据值，比较中位数符号检验可用于测试假设。・“+”号值的中位数（以np=14（0.5）二7）将与原假设H是一致的。0•在这种情况，多个或两个数“+”的值将与备择H是一致的。a我们建立了检验统计量：SubjectBar/Bar2DifferenceSignofdifference12040-20一21825-7一32438-14一41427-13一5531-26一62621+5+71532-17一82938-9一91525-10一10918-9一112532-7一123128+3+133533+2+141229-17一因此结果显示T3。所以这些数据没有打结，所以T的原分布是二项分布x〜B(14,0.5)。我们将展示在R中我们如何使用binom.test()函数做这一切：x<-c(20,18,24,14,5,26,15,29,15,9,25,31,35,12)y<-c(40,25,38,27,31,21,32,38,25,18,32,28,33,29)d<-x-yd[1]-20-7-14-13-265-17-9-10-9-732-17T<-length(d[d〉0])T[1]3binom.test(T,length(d[d!=0]),alternative="two.sided"ded")Exactbinomialtestdata:Tandlength(d[d!=0])numberofsuccesses=3,numberoftrials=14,p-value=0.05737alternativehypothesis:trueprobabilityofsuccessisnotequalto0.595percentconfidenceinterval:0.046579290.50797568sampleestimates:probabilityofsuccess0.214285用于检验的p值是0.0574，这是统计上的边界显著。也就是说，有轻微显著表明，在猴子中刺激区域A和B之间有一个偏好。由于“+”的数量较少，这表明区域B有更高的频率，因此B区是首选。&4打结和零糊弄对于给定的题，如果X和Y观测值是打结的又会怎样呢？采用以下步骤处理符号检验的零差异。定义的差异向量d后，我们可以这样做：d<-d[d!=0]n<-length(d)这种方法把零差异数据看做好像他们不是数据的一部分(样本大小n相应减少)。这就是所谓的零糊弄。•大多数非参数统计的书籍推荐零糊弄方法（或至少先介绍它）。•从理论的角度来看，它是假设一个有效的测试H:P（XvY）二P（X>Y）0 ii iiH:P（XvY）丰P（X>Y）a ii ii（或类似的片面的替代方法）。但这些假设不是你要测试的！你要测试的假设是中位数是相同的还是不同的。为了说明这一点,考虑在猴子的例子中通过增加一百万零差异数据到数据中以修改这些数据。“零糊弄”方法告诉我们，扔掉那些零数据，做同样的分析，得到p值=0.0574,—个轻微显著的结果•但是对于整个数据集来说，在100万个数据中，只有14个数据有不同的反应，我们得到完全相同的两个大脑反应区域。这是比较中位数的原假设的最有利的证据。并且是非常显著的证据用以推翻“零糊弄”测试的原假设这个故事的寓意：在解释显著性检验中，我们仅有p值小于0.05这是远远不够的。更重要的是我们要知道原假设是什么。拒绝任何无科学价值的虚无假设。因此，零糊弄是一种隐蔽的做假。虽然被广泛接受，但是是假的。之所以大家喜欢它是因为比起其他策略，它产生的p值往往小于0.5，即使它是假的，每个人都喜欢得到“统计量显著”的结果 那么，该怎么办？当打结数据的数量非常小时（也就是说，数据少于5%）,实行“零糊弄”通常是可行。（换句话说，你欺骗一点，没有人会注意到。）这里有一些其他的方法来处理很多打结数据的情况。通常需要考虑以下几点：•如果只有2个受试者与打结数据挂钩，做一个（+）号和一个（-）号。•一般来说，如果有偶数个受试者与打结数据挂钩，做一半的（+）符号，做一半的（-）符号。•抖动。打结通常是处理那些对离散数据测量的响应的结果。因此，一个更精确的方法来避开解打结，添加自身移动或抖动的无穷小数列到每个变量值中，在这些变量值中抖动是积极的还是消极的概率为1。例如，再次考虑猴子示例的数据：x<-c（20,18,24,14,5,26,15,29,15,9,25,31,35,12）y