诊断试验评价与ROC分析方法

诊断试验评价与ROC分析方法第一节概述诊断试验包括各种实验室检查诊断、影像诊断和仪器诊断（如X线、超声波、CT扫描、磁共振及纤维内镜等），各种方法的诊断价值如何，必须通过诊断试验确定。传统诊断试验评价方法有灵敏度（77）、特异度（1FP）、符合率（E）等，这些评价指标为广大的医学研究工作者所使用，但是为了使用这些指标必须将诊断试验分成“阴性”和“阳性”两种结果，由于这些指标与所选择的诊断标准或阈值有关，评级结果可能出现不一致性情况。Harris曾对某文献中的7篇诊断试验的文章进行了分析，发现其中有5篇得到的灵敏度和特异度是明显可以变化的，如果改变分类准则会是另一评价结果，这很容易引导研究人员做出有利于自己的选择。另一个问题是，从临床决策观点看，无论对何种疾病的诊断，最终应当做出“是”或“非，，的回答，但实际中只有很少的情况能够给出明确的诊断，多数情况只能根据检查的结果做出一个不确定的判断，如“正常、大致正常、可疑、非常可疑、异常'，一种新的诊断技术的产生尤为如此。如果在评价时按照实验样本归为两类或丢弃中间状态的数据，很容易夸大诊断试验的结果。在实际工作中有相当一些诊断技术由于缺乏准确的评价，在一开始出现时往往过分夸大其作用即与此有关。ROC分析方法则可以更客观的对诊断试验做出评价。一、诊断试验的ROC分析方法ROC曲线即受试者工作特征曲线（Receiveroperatingcharacteristiccurve），ROC曲线及其分析已统计决策理论为基础，起源于电子信号观测理论、用于雷达信号接受能力的评价，目前已经应用于许多医学、非医学领域，如人类感知和决策研究、工业质量控制、军事监控等。ROC曲线从二十世纪八十年代起广泛应用于医学诊断试验的评价。美国生物统计百科全书中关于ROC曲线的定义是：“对于存在或可能存在混淆的两种条件或自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。”在诊断试验的评价研究中，它是以每一个检测结果作为可能的诊断界值（cut-offpoint），计算得到相应的真阳性率（TP）和假阳性率（FP），以假阳性率（即1-特异度）为横坐标，以真阳性率（即灵敏度）为纵坐标绘制而成的曲线，ROC曲线可从直观上表明诊断试验的准确度。在医学影像诊断实验研究中，一个突出的问题表现在一些病例难以确定，另一个问题是对不同的医院或不同的观察者（医生），采用的诊断标准可能不一致，如何进行相互间比较，怎样把从不同观察者得到的数据结合起来分析，使分析结果具有较好的一致性。从本质上讲，一个诊断或预后系统的优劣，不应该取决于观察者在操作过程中对'诊断标准”的把握情况，而在与决策变量对疾病的区分能力。ROC分析是一种把灵敏度（TP）和特异度（1-FP）结合起来综合评价诊断准确度的一种方法。其基本思想是不固定诊断标准（阈值），把灵敏度和特异度看作一个连续变化的过程，用ROC曲线描述诊断系统的特性，用曲线下面积说明诊断的准确度。ROC分析有两个基本的特点：①允许诊断结果在“阴性”和“阳性”之间的中间状态；②ROC分析结果与诊断标准无关。前一特点使诊断试验应用范围拓宽，并且能够保持信息的完整性；后一特点则能保持诊断试验评价结果的一致性。事实上，实际中只有少数的临床诊断结果具有明确的分类界限，如一个生化检测可能是一个数量化的结果，选择不同的分界点，将会有不同的灵敏度和特异度；当一个诊断结果主要有主观判断（如影像诊断），可以认为医生的诊断结果是通过对潜在的连续变量分组后做出的判断。无论上面那一种情况，分类阈值的选择对ROC曲线都无影响。从应用角度看，ROC分析最大的特点在于可以暂时回避诊断标准的选择问题，并且能够较好的保持信息的准确和完整。理论上，当诊断试验完全无诊断价值即完全凭机会区分患者和非患者时，ROC曲线是一条由原点到右上角的对角线，这条线称为机会线（chanceline），有时也称为参照线（referenceline），如果获得的ROC曲线落在这条机会线上，其曲线下面积为0.5；理想的诊

断试验ROC曲线是从原点垂直上升至左上角，然后水平到达右上角，其曲线下面积为1,该ROC曲线对应的诊断试验可完全把患者判为阳性、把非患者判为阴性。但实际上这样的诊断试验极少或不存在，诊断试验的ROC曲线一般会位于机会线的上方，离机会线越远说明诊断准确度越高。ROC曲线下面积实际的取值范围为0.5U1，而一般认为对于一个诊断试验，ROC曲线下面积在0.5LI0.7之间时诊断价值较低，在0.7LI0.9之间时诊断价值中等，在0.9以上时诊断价值较高。二、ROC曲线下面积的估计ROC曲线下面积估计的方法有参数法和非参数法，均适用于结果为连续性资料或有序资料的诊断试验准确度的评价，但计算均比较复杂，大多需要借助统计软件实现。（1）ROC曲线下面积估计的非参数法非参数法是根据诊断试验的检测结果直接计算绘制ROC曲线所需的工作点（真阳性率，假阳性率），由此绘制的ROC曲线称为经验ROC曲线，其曲线下的面积可由梯形规则计算得到；Bamber于1975年发现：经验ROC曲线下面积等价于患者组和非患者组实验结果秩和检验的WilcoxonMann-Whitney检验统计量，因而可由WilcoxonMann-Whitney统计量估计曲线下面积的大小。如果用七和'分别表示患病组和非患病组的诊断变量，七和七表示各自的取值，假定检测值较大为异常，曲线下面积°的估计值可以利用下式计算：e=L堡％S3,j）（1-1）nn11an其中：,、疽A>JS（j,J）=（1/2,j=j（1-2）ANAN0,J<JANnA和nN为患病组和非患病组的检测例数。其含义是将患病组的所有检测值分别与正常组所有的检测值比较，如果JA>JN得分为1，如果相等得分为0.5,否则不得分，然后计算平均得分即为e。可以看出，ROC曲线下的真实面积e是患病组检测值大于正常组检测值的概率，即e=p（y>Yn）。roc曲线下面积还有另一种解释，即在各种不同诊断特异度下的平均灵敏度。°的方差估计可以使用Delong方法计算:S2（1-3）YnVar（e）=—S2+1nYaAS2（1-3）Yn其中：1部2—^1必[V（七）-9]Aj=1S2Yn1n2—~1象[V（Yj-0]N1部2—^1必[V（七）-9]Aj=1S2Yn1n2—~1象[V（Yj-0]Nj=1AinAiNjNjnAiNjTOC\o"1-5"\h\zNj=1Ai=1对两种诊断方式进行比较时，检验公式为：u=,q*(1-4)<Var(0)+Var(0)-2Cov(B,0)'1212式中Var(0)和Var(0)为两样本ROC曲线下面积的方差；Cov(0,0)为两样本面积估计1212的协方差，也可以用Delong给出的非参数方法计算得到。在独立试验样本情况下，Cov(0,0)=0(2)ROC曲线下面积估计的参数法曲线下面积估计的参数法常常是通过拟合某种统计学模型来实现的，有学者检查了ROC曲线与各种基本分布如幂、二项式、Poisson分布、卡方分布和伽玛分布等，发现ROC曲线非常逼近双正态模型所产生的曲线，因此拟合双正态模型是目前ROC曲线分析中最常使用的方法。该法假设患者和非患者的实验结果均符合正态分布，根据实验结果拟合双正态模型(binormaldistributionmodel)，由模型拟合的ROC曲线称为拟合ROC曲线或称为光滑ROC曲线，该曲线可用两个参数表示，一个参数用a表示，是患者组与非患者组实验结果的标准化均数之差；另一个参数可用均数b表示，是非患者组与患者组实验结果的标准差之比，两个参数可由下式估计得到：a=^a一Jnb=H(1-5)ssAA其中n、jn分别是患者组和非患者组检测结果的均数，sA、sN分别是患者组和非患者组检测结果的标准差。由两个参数可得到绘制光滑ROC曲线所需的工作点及曲线下面积的估计值。曲线下面积可由下式估计得到：a、0=中(.]b)(1-6)①为标准正态分布函数。因为患者组和非患者组的检测结果经常不符合双正态分布的条件，一般需经过正态变换，所以双正态模型的两个参数一般不宜直接计算得到，可由最大似然估计法得到。参数法的应用条件为：患者与非患者的实验结果均服从正态分布，但这是指ROC曲线的函数形式，而不是指检验结果的基本分布，因为变量变换几乎可使任何实验结果转换为双正态分布，而且实际上，当检测结果为有序资料时，数据仅有几个值或几个分类，对这类数据可拟合许多不同的分布。Hajian-Tilaki等发现，即使数据不服从双正态时，参数与非参数法估计的ROC曲线下面积及其方差也十分类似，这一结果提示，不必过分要求数据服从双正态，可根据应用的方便性与实用性来选择方法。参数法估计ROC曲线下面积的缺点是在极少数情况下，估计的ROC曲线下面积可能会出现位于机会线下的情况，或者当资料远远偏离其应用条件时，估计的结果可能会严重偏离其真实值。在样本量较大且想通知较少时，参数法和非参数法估计的ROC曲线下面积常常近似相等。三、ROC分析方法研究进展简述作为临床诊断数据评价的一种有效技术，ROC分析已经逐渐为医学研究人员所认可，并引起了更多统计专业人员的注意，把现代发展起来的一些多元统计方法引入ROC分析，使之在理论上有了更稳固的基础，应用范围不断扩大。虽然ROC分析技术在20世纪50年代就提出，但真正在医学诊断领域应用则在80年代；1989年Hanley给出一个综合性的报告，引起更多的统计专业人员注意则是在90年代；2002年周晓华等出版了《StatisticalMethodsinDiagnosticMedicine》专著，其中对大量地文献做了综述，内容十分丰富。下面简要叙述诊断试验ROC分析的有关内容。ROC分析有参数和非参数两类方法，最具代表性的参数方法是采用双正态模型作ROC分析，对于连续和有序测量数据，参数法的优点是可以获得ROC曲线方程，得到曲线下的全面积和部分面积，面积的估计值是无偏的，但对连续测量的数据分布有一定要求。典型的非参数法是Wilcoxon方法，它适合任何类型分布的数据，但无法直接对有协变量的情况进行分析和处理。由于实际中可能有协变量对诊断试验产生影响，如对某种疾病检测方法进行鉴定，各年龄组检测对象的诊断标准不尽相同，其诊断的准确度也可能存在差异，关键的问题是对协变量的影响大小做出判断，并将其影响在诊断试验评价中给予考虑，对此可以采用回归模型的方法。相关结构数据的ROC分析，典型的问题是在影像学诊断试验中由多个阅片者和多种不同诊断方式得到的数据，处理这类问题最困难的是估计量的方差估计，对此有相应的非参数方法，但在考虑协变量的情况下，采用参数回归模型会使分析更加灵活；模型的参数估计可以使用GEE（generalizedestimationequation）方法，也可以采用Jackknife和Bootstrap估计方法。还有一个类似的问题是集群数据的问题，例如在乳腺X线照相研究中，乳腺分为5个区域，从而可以从每个患者双侧乳房平片中获得10个诊断数据，即以乳腺分区为基本观察单位，每一患者为一个群，Obuchowski（1997）详细描述了其数据分析的非参数方法。ROC曲线下部分面积用于描述特殊情况下一种诊断方法的准确性。例如，在影像诊断评价时，不希望被比较的两种诊断方法假阳性率超过20%，即两试验的特异度不得低于0.8,否则诊断将无实际意义，此时用假阳性率为00.2的ROC曲线下部分面积对两种诊断的准确性进行比较，要比用ROC曲线下全面积比较具有更高的灵敏性。使用ROC曲线下部分面积的优点是，涉及此指标的检验统计量比涉及固定FPF灵敏度的检验统计量检验效能高，另外可以将曲线下部分面积转换成人们熟悉的01刻度比例。在由“金标准”诊断为有许多分类的情况下，可以构造类似于二分类的ROC评价诊断准确度的指标，其非参数ROC分析方法已被提出。与此相似的是联合诊断试验的ROC评价问题，对同一观察对象采取多项检查措施进行诊断，如何对其诊断效果进行ROC评价，是一个有待研究的问题；我们正在考虑采用决策树和支持向量机的方法，有效的计算ROC曲线下的面积及估计误差；另一种考虑是将多维诊断测量降为二维，然后构造二维测量的ROC模型和计算方法。ROC应用越来越广泛，1995年，美国临床实验室标准化委员会（NCCLS）将ROC曲线引入其标准和指南文件，颁布了《使用ROC曲线评价临床试验的准确度》（GP10-A）批准指南，将ROC分析作为实验室临床诊断试验统计分析的标准。此外，ROC分析方法也可以用于Meta分析（SROC）、质量控制、临床药物疗效评价、基因表达数据分析等多个方面。关于ROC应用软件，目前一些大型商用统计软件尚未包含ROC分析专用程序，多由一些大学的研究人员自己开发和使用，这些计算程序有的是用FORTRAN语言编写，还有一部分是用S和R语言编写，其中部分软件可以免费获得，如ROCKIT、ROCANALYSIS和DBMMRMC；另外还有一部分是SAS宏程序，在SAS9.2版本以后，可使用logistic过程绘制ROC曲线并完成相应的参数估计。有些简单的ROC计算可以借助SAS、SPSS等一些软件，但对一些较新的ROC模型及算法不能直接完成，需要适当的编程，从而使其应用受到一定的限制，但随着ROC分析的广泛应用和方法的成熟，相信会很快将相应的软件模块加入通用统计软件系统。本章后面涉及的主要内容包括：带有协变量和相关数据的ROC分析，样本含量估计方法的诊断试验评价问题。第二节具有协变量的ROC分析本节介绍使用回归模型研究协变量对诊断试验准确度影响的ROC分析方法，它允许在控制了可能的混杂因素后比较不同试验的准确度，其重点在于构建试验结果为连续型数据和有序数据的ROC曲线模型。文献中已提出三种ROC分析的回归模型：第一种方法是给出一个模型，诊断测量结果是关于疾病状态和协变量的函数，在估计协变量效应的同时，得到调整后的测量结果与疾病之间关系的参数方程，最后导出相应的ROC曲线方程，其特点是程序较易实现；第二种方法是对协变量组合计算试验准确度指标，如用Wilcoxon方法计算ROC曲线下面积，然后应用回归模型评价协变量对试验准确度的影响，其特点是可以直接比较不同的诊断试验，但这种方法仅适合分类的协变量，一般需要较大的样本；第三种方法是直接建立协变量影响ROC曲线的模型，其基本思想是在ROC曲线中直接加入协变量的效应，使用它可以直接拟合和比较不同的诊断试验，是更一般化的ROC曲线回归模型，但其计算程序相对不容易实现。本文使用的是第一种ROC分析方法。一、具有协变量的ROC回归模型假定患病组和非患病组的诊断变量七和'服从任意分布，D表示按“金标准”诊断的结果，即实际的患病情况，D=0表示“正常”，D=1表示“异常”；又假定两组测量的均数卜(D=1,X)>卜(D=0,X)，则用于诊断评价的ROC模型形式如下：JTP=S(a+P(D=1)+y'X+5'X(D=1))IFP=SD(a'+P(D=0)+y'X+5'X(D=0))(2-1)lcDROC曲线方程可以表示为：TP(FP)=SD{S-1(FP)}现具体说明模型及参数的意义。在相同协变量的情况下，ROC曲线比较了“有病”与“无病”的实验结果。式中TP和FP分别表示以c点作为诊断标准，诊断方法的真阳性率(灵敏度)和假阳性率(1-特异度)；X=(X「X2,X3,,X,)'是与诊断有关的p个协变量，它可能是某些特征因素(如年龄)、其他检查项目、疾病的亚型等。SD为患病组的生存分布函数，SD为非患病组的生存分布函数；P为疾病状态的效应参数，间接反映诊断测量结果对疾病的区分能力；a是与诊断标准C有关的常数项；参数Y=(y,Y,Y,,Y)'，表示协变量c123p对诊断结果的影响，5=(%,52,,5p,0,00)',q<p，则表示协变量对诊断试验准确性的干扰作用，即在协变量的不同水平上诊断效果存在差异。二、连续诊断变量的ROC模型假定诊断试验结果Y服从均值为口(D,X)和方差为。2(D)的分布，均值与协变量X之间呈线性关系，Y经过标准化后的生存函数为S0([y-MD,X)]/b(D))。在无法确定误差分布的情况下，如果测量值的均数可以写成下面的形式：MD,X)=a+PD+Y'X+8'XD则ROC曲线模型为：TP(FP)=S{a+bS-1(FP)+cX+cX+cX}(2-2)

001122pp其中：・..a=-P/b(D=1)，b=b(D=0)/b(D=1)匕二—々/b(D=1)k=1,2,p,模型中的参数可以利用拟似然(quasi-likelihood)方法进行估计：了切D,X)Y-MD,X)—(i——i~)(i——1)=0(2-3)「]gd(D)式中a表示口(D,X)中所要估计的参数，两组的方差则分别为：b2(D=0)=£[Y-MD=0,X)]2/nNi=1TOC\o"1-5"\h\z\o"CurrentDocument"b2(D=1)=£[Y-^(D=1,X.)]2/n(2-4)i=1其中nA和nN为两组的检测例数。ROC曲线的基础生存函数S0的估计，可以利用非参数方法获得：\o"CurrentDocument"S(y)=n-1况I[Y-MD,X)/b(D)>y](2-5)0iiiii=1函数I取1或0值。由拟合出的ROC曲线能够估计出曲线下的面积，其标准误可采用Bootstrap方法进行估计。特殊的，在正态分布的情况下，ROC曲线的模型为：TP(FP)=1—①{a+b①-1(1—FP)+cX+cX+cX}1122ppROC曲线下的面积为：...e(X)或火D=LX)P(D=0,X)]=——。+8'X](2-6)v'b2(D=0)+b2(D=1)顼b2(D=0)+b2(D=1)

其中①为标准正态的分布函数。在两组方差相近情况下，线性模型参数估计的拟似然估计与最小二乘法相差不是很大，因此实际中也可以采用普通的线性回归方法获得近似的ROC曲线。最小二乘估计在两组方差不同情况下得到的也是无偏估计，但参数估计的标准误偏大，因此最好使用拟似然法对参数进行估计。三、有序诊断结果的ROC模型对于有序诊断试验，可以采用有序回归模型构建ROC模型。其基本思想是，将实验结果Y=1,2,g看作由一个潜在的连续变量Y*在不同分组截断点(cutpoints)上经过分组后得到的结果，•在此基础上通过包含位置参数和尺度参数的有序模型作为生存函数，构建合适的ROC模型。Toledano(1996)提出了基于正态分布的多变量ROC模型，并给出了相应面积估计误差公式，但使用这种方法需要特殊的计算程序。我们采用简单的有序logistic模型作为“生存函数”，相应的ROC模型为：c1+exp[-(a+P(D=1)+y'X+5'X(D=c1+exp[-(a+P(D=1)+y'X+5'X(D=1))]、'c''['c=1,2,FP=八。c1+exp[-(a+P(D=0)+y'X+5'X(D=0))]其中X=(X,X,X,,X)'，y=(,Y,Y,,Y)'，5=(5,5,123p123p12由于ROC曲线与分类点的选择无关，消去以c得到ROC曲线方程：.TP=r——(2-8)1+(FP-1-1)exp[-(P+5'X)]ROC曲线下而积可以通过积分得到，即:6=1-—-袂岂(2-9)13(1-S)2其中&=exp[(P+5'X)]。参数估计时可以诊断测量的结果变量为应变量，以由“金标准”得到的结果变量D和协变量X及交互项作为自变量，作有序logistic回归，得到的参数即为模型(2-7)中的参数估计。根据实际资料得到参数估计值P和5'后，可由式(2-9)得到。的估计值6。6的方差估计为：m(6)=(华)2”(&)=[E羽3-1)]23(&)(2-10)d&(&-1)3财&)=(")2财(p)+£(；：)2财(8z)+2^[(言)(")]Cm(p,81)+TOC\o"1-5"\h\zi=1ii=1i江[(京)(京E(8i，8J)1丰JiJ=[exp(p+£8X)]2Var(p)+£[X2[exp(P+E8X)]2Var(8)]+kkikk1k=1i=1k=12£[X[exp(P+£8X)]2Cov(P,8,)]+i=1k=12£[XX.[exp(P+£8X)]2Cov(8r8p]详jk=1关于0的可信区间估计，有两种方法：一是现根据模型参数的方差Var(p)、Var(8)和协方差Var(p,8)求出&的可信区间，然后再计算0的可信区间；二是直接根据Var(0)算出。由于P和8的正态性较好，使用前者效果更好一些。一般情况下，正态模型和logistic模型对数据拟合的结果相近。还有一些可供使用的拟合模型，如双对数、负指数、Poisson、Gamma等模型。理论上讲，用哪种模型，与诊断变量的隐变量Y*实际分布有关，但有研究表明：实际中无需对其分布做出严格的假定，它基于两个理由：①诊断变量即使真正服从正态分布，实际中选择不同的分类截断点，可以使患病组与非患病组的分布形状有很大的变化，ROC曲线自然也要发生变化，难以从有序分类结果推断隐变量Y*的分布；②ROC曲线不能为已决定诊断变量的分布，如果对诊断变量实施一些单调变换，将会有不同的基础分部，但ROC曲线的函数形式却不改变。因此，用不同的有序模型通常差别不大，而仅仅是ROC曲线的数学表达形式不同。但要注意，理论上用参数较多的模型拟合的效果更好一些，如采用更一般化的有序logistic模型：logitP=a广中、z)/ex顿Z，结果会更加准确。四、实例分析例1临床试验显示，动脉硬化患者的脉声中高频含量远比健康者多。根据这一原理有关专业人员在制作“电脑动脉测试仪”时，试验功率谱的相关值SER(5)对检测动脉硬化的区分能力。试验时对经临床诊断的108例动脉硬化患者和198例正常人进行测量，资料如表1.表1使用SER(5)检测动脉硬化的诊断试验数据编动年龄SER编动年龄SER编动年龄SER号脉硬化(岁)(5)号脉硬化(岁)(5)号脉硬化(岁)(5)

1072543370403633011661080204336780399713021581059303812199049178330317997140481668••••••••••••3041706150552784••••••••••••3051651707605945173001565173061641026为使数据接近正态分布，对表1中SER(5)的数据作对数变换。然后为了确定ROC模型中的参数是否具有显著意义，可以采用普通线性模型方法进行检验，结果如表2。可以看出，协变量年龄及疾病状态与年龄的交互作用都为显著。注意：这里并没有对数据模型的误差作正态和等方差的假定，因此只是一个意向性的检验。表2诊断试验的线性回归参数估计变量自由度参数估计值标准误t值P值截距11.558620.0908217.16<0.0001疾病10.450140.294261.530.1271年龄10.029590.0022613.11<0.0001疾病X年龄1-0.015530.00512-3.040.0026进一步用拟似然的方法拟合线性模型，结果与最小一乘估计的结果相同，即有：R(D,X)=1.55862+0.4501D+0.02959X-0.01553XD根据(2-4)得到a(D=0)=0.42319,a(D=1)=0.47497，因此ROC曲线方程为:FP(1-特异度)TP(FP)=S0(-0.94771+0.89098S01(FP)+0.03270X)FP(1-特异度)表3对不同年龄SER(5)诊断动脉硬化的ROC曲线下面积估计评价指标30岁40岁50岁60岁70岁0(X)0.50500.61960.72280.80680.8665SE{e(X)}0.12450.08880.55200.04010.0395利用ROC曲线方程，可以采用梯形法计算出在不同协变量取值下的ROC曲线下面积(本例采用300个区间)，同时利用1000个Bootstrap样本计算出面积的标准误。结果见表3，图1给出了三个不同年龄段的经验ROC曲线。可以看出，用SER(5)诊断动脉硬化对高年龄组更有意义。上面给出的多变量ROC模型，可以直接处理实际中诊断测量为连续型，具有协变量混杂或干扰的一些问题。在评价SER(5)对检测动脉硬化例子中，由于不同年龄组的人本身SER(5)就有很大的差别，在评价SER(5)的诊断作用时，必须考虑年龄对诊断的影响，某一水平的SER(5)对年轻人可能属于正常范围，而对老年人则可能是动脉硬化的表现，利用文中给出的模型可以较好地解决这一问题。至于为什么SER(5)对不同年龄组的人

诊断效果不同(交互项作用)，对低年龄组(如年龄V50岁)区分能力低的问题，除测量方法外，也有可能由于所取样本信息不足所致。例2采用X线诊断纵膈淋巴结肿大。先收集了3名放射医生采用5分类评价方法得到的数据，以病理分析结果作为诊断的金标准，其中115例有纵膈淋巴结肿大，94例无踪隔淋巴结肿大，结果见表4。本研究的目的是评价X线诊断纵膈淋巴结肿大的准确度。表43名放射医生采用X线诊断纵膈淋巴结肿大的数据阅片者疾病诊断的有序结果1234510188420111361519201385312125610133010974231256913注：疾病=0表示无纵膈淋巴结肿大；疾病=1表示有纵膈淋巴结肿大。本例需要考虑由于不同的阅片者是否有不同的X线诊断准确度，如果不同，在估计ROC曲线时则必须考虑阅片者的影响。为此，先用有序logistic模型分析不同阅片者对估计ROC曲线的影响，即以诊断的有序结果作为应变量，以疾病状态和阅片者作为自变量进行分析。阅片者作为协变量可以定义2个二分类指标%和X2，用(X],X2)=(0,0)表示第一个阅片者，(X],X2)=(1,0)表示第二个阅片者，(%,X2)=(0,1)表示第三个阅片者，交互项为X3=XD和X4=X2D，模型参数的估计和检验结果见表5。需要注意的是参数估计的正负号，如果使用logistic程序，有些软件定义的累计概率P(YMcID,X)(如SAS)，有些软件定义的是P(Y>cID,X)，ROC模型使用的是后者，如果属于前者，则需要将效应参数的正负符号取相反。表5诊断试验的logistic回归参数估计变量名变量意义自由度参数估计值标准误X2值P值D疾病13.57440.489653.2887<0.0001X1阅片者210.57330.47931.43110.2316X2阅片者311.07110.47085.17650.0229X3疾病乂阅片者21-1.04720.63162.74900.0973

疾病X阅片者疾病X阅片者3-1.54590.62776.06490.0138注：表中未列出截距(a'的参数估计结果，Cov(P,《)=-0.20444,Cov(g,52)=-0.21075从检验结果可以看出，阅片者的煮主效应和交互作用显著(P<0.05),说明阅片者对估计ROC曲线产生影响，ROC曲线方程为:TP=1+(FP-1-1)exp[—(3.5744-1.0472X-1.5459X2)]根据前面给出的公式，可以得到3个阅片者的ROC曲线下面积和标准误的估计值(见表6)。医生面积9标准误医生面积9标准误se(Q)95%可信限阅片者10.92280.0259阅片者20.84840.0437阅片者30.79770.0517(0.8721,0.9735)(0.7627,0.9340)(0.6965,0.8989)表63名放射医生用X线诊断纵膈淋巴结肿大诊断的准确度估计例3用有序测量的ROC模型对例1的数据进行分析。由于诊断变量K是一个连续的测量指标，按P、P、P、P四个百分位数分成55257595个数量等级，其截断点值分别为56、194、1394、4077，分析结果见表7和表8。表7有序logistic回归参数估计变量自由度参数估计值标准误X2值P值疾病1-0.78441.29530.36670.5448年龄1-0.12980.0123112.1506<0.0001疾病X年龄10.05250.02255.44730.0196表8对不同年龄SER(5)诊断动脉硬化的ROC曲线下面积估计评价指标30岁40岁50岁60岁70岁9(X)0.6290.7070.7760.8330.879SE{9(X)}0.1050.0690.0440.0350.036由表可见交互项作用显著，表示SER(5)对动脉硬化诊断效果在不同年龄段有所不同，应分别考虑。ROC曲线方程为:TP=——11+(FP-1-1)exp[-(-0.7844+0.0525X)]

可以看出，与前面的结果相比，用有序logist回归计算出的ROC曲线下面积的估计值略为偏高。第三节相关诊断数据的ROC分析相关诊断数据是指测量结果在各观察单位之间不完全独立，由诊断试验设计本身产生，它主要包括两种情况：第一种数据结构来自同一观察对象重复接受多次测量或诊断，误差是随机的，它不限于剂量诊断，也可以是按等级分类的实验结果，如影像诊断试验进行多次读片，同一观察对象的试验结果间不独立，存在组内相关性。第二种数据结构产生于同一观察对象接受不同的试验，由于诊断结果在同一患者身上得到，数据间彼此也不完全独立，用数据独立分析方法得到的估计误差与实际不相符，获得的参数区间估计和假设检验结果不准确。以往多是对影像学中多个阅片者的ROC研究，主要采用混合效应的方差分析（ANOVA）模型，以及Jackknif和Bootstrap^法估计不同的方差成分。本节沿用独立诊断数据的ROC回归模型，但所用的参数估计方法更为复杂。本节采用广义估计方程（GEE）和Bootstrap两种方法估计误差。一、连续诊断变量的ROC分析1.ROC曲线模型在独立诊断数据的ROC模型基础上进行扩展。连续诊断变量重复测量的ROC分析，亦有相应的参数估计的方法。为了简单，先考虑只有一种试验的情况，假定对每一例观察对象重复测量的最大次数为m，则对第1例观察对象的测量结果可表示为mi1的向量，mj为第1例观察对象重复测量的次数血］m）。诊断试验结果丫口服从均值为.（Dj,Xj）和方差为j（D「的正态分布，均值与协变量X之间呈线性关系，并记患病组总体标准差为1）;非患病组总体标准差为卜。］°）;患病组和非患病组的诊断变量Y和Y服从任意分布（.）,n和n为两组的试验例数。在任意误差分布的jAjNjAjNAN情况下，测量值的均数可以写成下面的形式:(D,X)jROC曲线模型为：TP(FP)F°{abF°(D,X)jROC曲线模型为：TP(FP)F°{abF°1其中：a/(DD'Xj'XjD(3-1)')cXcXcX}(3-2)1122pp•••1),b(D0)/(D1)2.模型的参数估计按照Liang和Zeger(1986)给出的广义估计方程(generalizedestimatingequat,icGEE)的方法，式(3-1)的GEE参数估计为：n((叩"1Y(D,X)0(3-3)iiiii1式中表示（D,X）中所要估计的参数向量；V1为Y（Y,Y,,Y）的协方差矩阵,iii1i2imi为得到这一矩阵，规定如下工作相关矩阵（workingcorrelation,matrix

P21P1P21P1miP2miV=。A1/2RA1/2(3-4)iiiii其中Ai是m_xm_阶表示均数与方差间函数关系的对角阵，即:A1/2=Diagfv(日)1/2,v(p)1/2,,v(p)1/2]'1112m特殊地，在正态假定下^（匕）=1,W=6（D,X）。-参数a的估计值a可利用通过迭代获得，具体步骤如下:（1）用普通线性模型给出a的初始估计值；（2）由模型的标准残差对作业相关矩阵R进行估计;（3）对a的估计值进行迭代，第r+1步迭代值为：a(‘+1a(‘+1)=a(r)+£加缸X哗1-i=1—-V-1也daida1-i=1（3-5）（4）循环到第2步，直至满足迭代条件进行下一步:（5）参数估计的方差-协方差阵：Xdpv1dpiXdpv1dpiV-1idaidai=11X虫V-1var(Y)V-1

L=1da，…da（3-6）其中var（Y）=（Y-p）（Y-p）-1。iiiiiROC模型的GEE算法，除能解决重复测量问题外，还有一个很大的优点，即在有缺失数据的情况下，参数估计可以照常进行。在应用时需要注意两个问题：一是作业相关矩阵有多种形式可供选择，由于GEE估计的稳健性，相关阵R的选择对模型系数参数估计的影响并不大，但为了能够正确估计组内的方差，根据诊断试验的数据特点，一般情况可以选择对称的可交换（exchangeable）相关矩阵，即同一观察对象的不同测量值具有相同的组内相关；二是GEE主要考虑的是固定效应的分析，对模型随机成分分析不够，如没有考虑协变量对方差的影响，对方差的分解也仅限于2个水平的情况，对于设计成多个水平的诊断试验，如多中心、多个医生、多次测量的诊断试验，除需要得到ROC曲线外，常需要对不同水平的方差进行估计，这时最好采用混合效应模型或多水平模型。3.ROC曲线下的面积的估计误差为了简单，ROC曲线下面积的误差估计使用Bootstrap法，其过程与步骤简述如下：（1）从原始“有病”实验样本中又放回地抽取〃个观察单位，从原始“无病”的试验A样本中又放回的抽取nN个观察单位，然后和在一起形成一个Bootstrap样本。

对Bootstrap样本的q个试验，分别利用拟似然或GEE方法进行参数估计，获得q个试验ROC曲线下面积七(j=1,2,,q)的Bootstrap估计值。」(r=1,2,,R)。重复前面两个步骤R次，q•种试验各获得R个ROC曲线下面积的估计值。计算q种试验的ROC曲线下面积的协方差矩阵：Cov(0.,0)=二龙(0*-0.*)(%*—&「)(3-7)jkR—1jrjkrki=1其中：0；=R—E0jri=1在获得ROC曲线下面积的协方差矩阵后，可以采用正态理论得到O’.的区间估计，也可以对各试验的ROC曲线下面积进行假设检验。二、有序诊断数据的ROC分析有序诊断数据的ROC模型同样可以在独立诊断数据的有序ROC基础上进行扩展，可以有T种不同的诊断方法，每种方法有g个有序测量结果，每一例观察对象重复测量的最大次数为m，为了表达简单仅考虑有一种实验的情况，如果采用简单的有序logistic模型作为“生存函数”，相应的ROC模型为：TPc-1+exp[—(a+p(D=1)+Y'X+8'X(D=1))]<c1C=1,2,g—1(3-8)FPc—1+exp[-(a+0(D=0)+y'X+8'X(D=0))]••cX=(X,X,X,X)'，Y=(Y,YJ,Y)'，8=(8,8,8,0,0,0)'，q<p。123p123p12pROC曲线方程为：…...TP(3-9)1TP(3-9)1+(FP-1—1)exp[—(0+8'X)]0=10=1(3-10)其中&=exp[(0+8'X)]。这种方法的最大优点是，对于重复测量数据可以利用ROC模型中的效应参数估计，直接完成ROC曲线下面积及其误差的估计。ROC模型参数估计的GEE估计假定诊断试验的有序反应变量Y取值为c=1,2,g，由累计概率P(Y>c|D,X)可得丸=p(Y=c|D,X)的概率：C丸=p(Y>c|D,X)—p(Y>c+1|D,X)若假定对每一例观察对象重复测量的最大次数为m，把变量Y化作只取0或1的g-1个二分类的指示变量，则对第i例观察对象的测量结果可表示为gm_X1的向量，m.为第i例观察对象的重复测量次数（m<m），诊断结果可以记作：iY=（Y,Y,,Y,Y,Y,,Y,,Y,Y,,Y）'iilli21i,g-1,1i12i22i,g-1,2ilri2ri（g-1）r.其中当第t次测量%=h时；丫血=1匕广。.亿主h），相应的取值概率为：兀二（兀，兀，，兀，兀，兀，，兀，，兀，兀，，兀）'ii11i21i,g-1,1i12i22i,g-1,2i1ri2ri（g-1）r.兀.=兀■（a），Y兀•=1；a是需要估计的参数向量，对于roc模型a=（P,y'力'），它c=1可由下面方程获得：荒”气（以）'V-1（Y—兀）=0（3-11）TOC\o"1-5"\h\z\o"CurrentDocument"daiii=1V为Y的作业方差矩阵，V应尽可能选择接近真实协方差矩阵，它是待估计参数a的函数。iii为得到这一矩阵，规定如下相关矩阵：Pi11Pi12Pi21Pi22P...i2m,iRi=Pi31Pi32•.p•••13m.P.,_im,1•Pim,2•'■/im.m.」TOC\o"1-5"\h\zP旧是一个（g-1）X（g-1）阶矩阵，对角线元素P谊=A-1/2V-tAz-1/2。其中：V=Diag（兀）—兀兀'，Diag（兀）表示主对角元素为兀的对角矩阵ititititititA-i/2=Diag[｛丸（1—丸）｝-1/2,｛丸（1—丸）｝-1/2,，｛丸（1—丸）｝-1/2]Pst（s壬t）的确定有不同的方法，理论上讲给出的相关矩阵愈接近实际，估计的效率愈高。给出相关矩阵后，相应的作业协方差矩阵为：V=A1/2RA1/2iiii其中：Ai/2=Diag［｛K11（1—兀］］）｝1/2，｛兀21（1一兀21）｝1/2,，｛兀（"-丸（"）1/2,，｛兀ilm（1一兀侦,）｝心七m（1一兀i刊）"，，｛兀,5（1一L）m,）荷…参数a的估计值a可利用Fisher得分算法,通过迭代获得，得到ROC模型参数的估计值。三、实例分析例4牙髓电活力测试仪可以对牙髓的“炎症'和“变性坏死”进行诊断。先对一种国内新开发的数字测试以进行试验，与一种进口的测试仪器进行比较，试验对104名患者用两种仪器进行了测试（表9），每名患者重复测量2次，后经病理学检验其中85名为炎症牙髓，29名患者属坏死牙髓，试对两种仪器的诊断性能进行分析。表9两种牙髓电活力测试仪检测牙髓坏死的诊断试验数据编号病理诊断年龄（岁）自发痛进口仪器（电压）国产仪器（电流）第1次测第2次测第1次测第2次测量量量量1128180802002002020024245657303105960113110404002226646150590282757551110,42,022868688112035138117117116113016136120120123114128021163163166采用连续诊断变量模型，用GEE方法对回归模型的参数估计进行检验，交互项不显著。不包含交互项的GEE参数估计值见表10。表10诊断试验线性回归模型的GEE参数估计变量进口仪器国产仪器参数估计标准误Z值P值参数估计标准误Z值P值截距1.51180.058825.69<0.00011.89820.098319.31<0.0001疾病（D）0.26110.04865.37<0.00010.42200.06406.59<0.0001年龄（X1）-0.00370.0015-2.400.0166-0.00670.0023-2.870.0041自发痛（X20.10390.05481.900.05800.18470.07322.520.0116进口仪器：日(D,X)=1.5118+0.2611D—0.0037X1+0.1039X2国产仪器：日(D,X)=1.8982+0.4220D—0.0067X1+0.1847X2由式（3-2）给出ROC曲线方程:

进口仪器：TP(FP)=F{-1.16036+1.04165F-1(FP))00国产仪器：TP(FP)=F{-1.51086+1.18578F-1(FP))00利用ROC曲线方程，可以采用梯形法计算出ROC曲线下面积(本例采用300个区间)，同时利用1000个Bootstrap样本计算出面积的标准误，95%置信区间的估计利用正态原理算出，结果见表11和表12。表11两种牙髓电活力测试仪诊断牙患的ROC模型参数估计值估计方法进口仪器国产仪器Cov(9亍92)91SE(91)92SE(92)任意分布0.81550.04110.84440.04500.001207正态分布0.78670.04110.83130.04270.001161表12两种牙髓电活力测试仪诊断牙患的ROC曲线下面积的95%置信区间估计方法进口仪器国产仪器任意分布正态分布0.73500.89620.75630.93260.70610.86730.74760.91500.8444—0.8444—0.8156=0.79871)+Var(92)-2C“(0成2)气'0.04112+0.04502—2x0.001207P>0.05，两种电活力测试仪诊断炎症牙髓和坏死牙髓无显著差别。第四节诊断试验的样本含量估计诊断试验评价可以是一种新的诊断方法与“金标准”比较，也可以是一种改进的诊断方法与常规诊断方法进行比较；受检者可能接受的是生化检查的实验室诊断，也可能接受的是影像检查诊断，不同诊断试验设计对样本含量要求不同，一般情况下配对设计所需的样本量比成组设计所需的样本含量小很多，重复测量比单次测量所需的样本量小，连续试验数据比有序分类试验数据所需的样本量小。目前诊断试验已提出多种样本含量估计的公式，主要基于参数方法、非参方法和稳健方法。一、单个诊断试验评价的样本含量估计单个诊断试验评价是指一种新的诊断方法与“金标准”进行比较，它所需的样本量可因测量方式和试验数据类型等不同而不同，样本量估计的常用方法有以下几种。双正态法假设实际诊断试验评价中，X,Y分别表示非患者和患者诊断试验测量结果，且XeN()，YeN(四人,bj，经单调转换服从正态分布，则可用两个参数确定ROC曲线，即8=(旦一四)/b，。=b/b。令^>^，ROC曲线下面积9为:0ANA1NAAN0=j+8.[60+py]p(y)dv(4-1)其中①是正态分布概率累积函数。对诊断试验评价通常是将待评价试验的准确性与事先规定的无效值0°比较，即H0^=0-00=0，此时患病组样本量NA为；N=N疽Z6竺(0)(4-2)A2上式中口为I类错误率，6为H类错误概率，Z为标准正态分布的分位数，响*/『0)，var(9)是无效假设时6的方差估计值，值为0的1-a可信区间长度，即9的1-a可信区间上限值与下限值之差，V(0)用下式计算：V(0)=f2(1+B2/R+A2/2)+g2[B2(1+R)/2R]+2fgAB(4-3)式中A,B分别为参数60,61的估计值，R为非患病组与患病组样本量的比例。中间量f、g的计算方法如下：/exp[-A2/2(1+B2)]-(AB)exp[-A2/2(1+B2)]f=——•—，g=:e(1+B2)侦2兀(1+B2)3实际计算时使用下式取代公式(4-3)：V(0)=f2(1+B2/R+A2/2)+g2[B2(1+R)/2R](4-4)其目的是使公式(3-4)中所隐含的A、B的协方差Cov(A,B)=AB/(2N)为零，得到0A较大的方差，保证估计结果更稳健。实际应用时，通常假定非患病组与患病组的方差相同(B=1)，A可以通过预期的曲线下面积0计算出来，即A=、:'(1+B2)x①-1(0)，也可以通过待评价试验预期的灵敏度TP和特异度1-FP计算A，即：A=B①-1(1—FP)—①-1(1-TP)。由上式可见，单一诊断试验准确性ROC评价，用双正态法估计其所需样本量，与下述条件有关：①I类错误概率，II类错误概率；②非患病组和患病组标准差之比；③预期曲线下面积0，或待评试验预期灵敏度TP和特异度1-FP；④非患病组和患病组比例R；⑤预期曲线下面积0的1-a可信区间长度。2.非参数法用非参数法对ROC估计时，ROC曲线下面积估计值的标准误SE(0)与0和样本量间存在如下关系：SE(0)顼(1-0)+(气T)(Qi项)+气一如项)(4-5)式中Q1、Q2可通过。做近似估计，即:Q=。/(2-0)，Q=20/(1+0)12根据预期的ROC曲线下面积0及其标准误SE(0)、患病组样本量nA与非患病组样本量n.的比例，即可导出所需样本含量。3.稳健法当基本分布为连续分布时，用x,r分别表示非患病组和患病组的诊断测量结果，此时ROC曲线下面积0=p(x<r)，对此单一试验评价