ROC分析方法概要

1、1 / 12 第二章 roc曲线分析概要本文先介绍了 roc 理论的一些基础知识如特异度和灵敏度等，然后简要介绍了非参数 roc 分析方法，并建立了 roc 模型。最后介绍了 roc 曲线与在 r软件中的绘制。2.1 roc 分析的基本要素roc 分析的基本要素包括真阳性和假阳性也称灵敏度和特异度，以与“金标准”“金标准”划分被测试者的真实状态为对照组和病例组两类。常见的金标准有跟踪随访、活组织检查、尸体解剖、手术探查等。虽然“金标准”没有必要是十全十美的，但“金标准”应与评价的诊断系统无关，而且比要评价的诊断系统更可靠。“金标准”不够完美时，可用采用bayesian、模糊金标准、 em 估计

2、等方法解决。对按照“金标准” 确定的二分类总体， 对照组和病例组分别用阴性和阳性表示诊断试验结果。假定总体样本量是n，诊断试验的可能结果总共有四种：被测试者患病且被正确诊断为患病者，被测试者无病且被错误诊断为患病者，被测试者无病且被正确诊断为无病者， 被测试者无病且被错误诊断为患病者。我们可以用一个 22的列联表来表示它们之间的关系。诊断结果“金标准”合计患病者健康者阳性a( 真阳性) b(假阳性 ) a+b 阴性c( 假阴性) d(真阴性 ) c+d 合计a+c b+d a+b+c+d=n 在医学研究中，诊断试验准确度指标最常用的是灵敏度与特异度。灵敏度（ sensitivity），也叫真阳

3、率（ true positive rate ，即tpr ）是被测试者患病且被正确诊断为患病者的样本量在阳性总体中占的比例。灵敏度值越大，假阴率越小。据表2-1 其计算公式是： 灵敏度 (sensitivity) = 真阳率 (tpr) = 1 - 假阴率 (fnr)=标准误为：特异度（specificity），也叫真阴率 （true non-positive rate ，即tnpr ），2 / 12 是受试者无病且被正确诊断为无病者的样本量占阴性总体的比例。假阳率（ false positive rate，即fpr ） = 1 - 特异度特异度值越大，假阳率越小。据表2-1 其计算公式是：特异

4、度 (specificity) =真阴率 (tnpr) = 1 - 假阳率 (fpr) =标准误为：假设二分类总体均服从正态分布， tpr、fpr 、tnpr 和fnpr 之间的关系可以用图2-1来描述。图中 x = c 为截断点（诊断阈值），为假阳率（fpr ），为假阴率（ fnpr ）。2.2 roc 准确性评价指标的优越性诊断试验的准确性评价指标有正确率、灵敏度和特异度等。它们虽然都可以反映诊断的准确性，但评价的效果不是很理想。正确率是被测试者被正确诊断的例数和所占总体的百分数。其计算公式是：标准误是：正确百分率的不足之处：1很大程度上依赖患病率。例如，虽然患病率是5%，如果判定所有样本

5、为健康者，也有可能有95%的正确百分率；2受诊断阈值的限制；3没有表示出假阳性和假阴性错误诊断所占的比例，没有唯一性表示，即3 / 12 使有一样的正确百分率的两个总体，也可能有十分不同的假阳性和假阴性。基于此，单独计算灵敏度和特异度， 以弥补正确率的不足， 如果两个指标的值越高，诊断评价效果也就越好，其实不然。在对诊断系统做出比较时，如果单独使用灵敏度与特异度， 就会存在很大的不足： 这两个指标依赖于诊断阈值 （或截断点） ，改变诊断阈值可以增加诊断的灵敏度，但同时也减少了特异度； 反之，如果增加诊断的特异度，则需要以减少灵敏度为代价。另外，有人提出的youden 指数、阳性似然比、：真阳率

6、与假阳率之比）和阴性似然比等等。youden指数是指真阳性率与假阳性率之差，计算公式为：youden指数=灵敏度 +特异度 -1=真阳性率 -假阳性率=其标准误为：阳性似然比（ positive likelihood ratio 简写为： lr+）是真阳性率与假阳性率之比，即灵敏度与（ 1-特异度）的比值，它是roc曲线某工作点对应的斜率。阴性似然比（ negative likelihood ratio 简写为： lr-）是假阴性率与真阴性率之比，即（ 1-敏感度）与特异度的比值。这些诊断指标综合考虑了灵敏度和特异度，但一个指标只对应于一个诊断阈值。当诊断阈值改变时，会得到不同的指标值，给诊断

7、准确度的比较带来不便。所以一般选择阳性似然比或youden指数最大者为最佳工作点。在评价整个诊断方法的准确性时用roc 分析，当改变诊断阈值时， 可同时获得灵敏度和特异度，也就可以获得tpr 和 fpr 值。roc 曲线是以fpr 为横坐标和以tpr 为纵坐标绘制而成，并且roc 曲线下的面积大小衡量了诊断系统的判别能力。4 / 12 2.3 roc 曲线的构建以假阳性率（ fpr ）为横坐标、真阳性率（ trp ）为纵坐标，形成正方形，在图上将 roc工作点标出，并用线条将这些低昂依序连接起来构建不光滑的roc曲线。构建光滑的曲线需要交涉对照组和病例组服从于某一分布（如正态分布、gamma

8、分布等） ，用曲线拟合技术估计其参数，直接用参数产生曲线。无论资料类型如何，曲线一定通过（ 0,0 ）和（1,1 ）两点，这两个点对应着灵敏度=0，特异度=1和灵敏度 =1，特异度 =0.理论上诊断实验都有tpr=1 ，fpr=0 。完全无价值的诊断为 tpr=fpr, 这条线条称为几率线（ guessing line 或 chance line） ，也称为无信息线（ line of no information） ；roc 曲线对诊断的准确性采用同一尺度直观地体现出来，描述了诊断实验对正反两种状态的判别能力。 曲线上每一个点通过改变其诊断阀值（截断点）而得，是灵敏度和特异度的折衷结果。 提高

9、诊断标准则产生较低的灵敏度和较高的特异度；降低诊断标准则产生较高的灵敏度和较低的特异度。如果比较两个诊断方法的效果，则较高的 roc 曲线具有较好的诊断性能， 如果曲线交叉， 则通过计算曲线下面积进行进一步比较。用 roc 曲线下面积（记为 az）反映诊断试验的准确度， 它可以被看成是正确决策的概率。该面积的取值围为（0.5,1 ） ，完全无价值的诊断az=0.5；完美的诊断 az=1。习惯上认为roc 曲线下面积为0.50 0.70 ，表示诊断的准确度较低；在 0.70 0.90 之间表示诊断的准确度中等； 面积达到 0.90 以上则表示诊断的准确度较高。5 / 12 2.4 roc 曲线的

10、拟合方法roc曲线的获得是通过两个不同的总体（正常组和异常组），它的横轴和纵轴（假阳性率和真阳性率）存在相关关系，因此不能假定它们来自单一的总体，不能用一般非线性模型拟合。 roc 曲线拟合方法主要有双正态模型参数法和非参数法。除了主要的 roc 分析方法外，有序回归模型（包括位置尺度模型、比例优势模型、 gee 法）、 cox 比例风险模型等也可以拟合roc 曲线、计算 roc 曲线下面积以与标准误。这些模型还考虑了协变量的混杂效应。2.4.1 双正态模型参数法双正态模型假定正常组和异常组都服从正态分布。当前该模型在 roc 分析上比较完善，可以处理不同的roc 资料，获得光滑的 roc 曲

11、线。当样本量较大时，有序分类数大于 5 时，该模型获得的结果是比较可靠的。但是当样本量较少时，双正态模型拟合会产生退化资料，ml估计会迭代不收敛。按“金标准” 将实验对象划分为正常组和异常组，假设它们分别服从总体均值为， 方差为的正态分布，对任意诊断阀值（截断点）t, 假阳性率为：真阳性率为：其中、分别表示正常组和异常组的实验测量值或有序分类之；t 为截断点，实验测量值 xt, 诊断为阳性， xt 诊断为阴性；为标准正态累积分布函数。令, 则有：令, 则上式可写为：其中为标准正态离差值。整个roc 曲线下面积为：6 / 12 参数a、b通过极大似然法（ maximum likelihood ，

12、ml ）估计。2.4.2 非参数 roc 拟合方法非参数法主要有： hanley 和 mcneil 法、delong 和 clarke-pearson法。非参数法对正常组和异常组的分布没有要求，它们可以充分利用所有的截断点，对连续性样本量没有大小的显著，不会出现计算结果不收敛的情况。当截断点（或有序分类）大于 5 时，结果比较理想，当截断点不断增加时，roc 曲线将逐渐向光滑参数曲线靠拢。hanley 和 mcneil 非参数法假设正常组的观察值个数为n0, 记作；异常组的观察值个数为 n1, 记作。异常组的观察值更大， 根据 wilcoxon mann-whitney统计量，rox 曲线下面

13、积（）等于异常组每个观测值大于正常组每个观测值的概率。即的标准误为：其中是两个随机随着的异常组观测值比一个随机选择的正常组观察值都更大可能分类为异常的概率。是一个随机随着的异常组观测值比两个随机选择的正常组观察值都更大可能分类为异常的概率。2.5 基于非参数法的roc 分析基于本文实证分析采用的是非参数方法的roc 模型，因此将在本小结着重介绍下非参数法的 roc 分析。7 / 12 2.51 等级变量的非参数roc 分析通常情况下，诊断系统获得的原始资料的记录有离散型和连续型两种形式。许多生物医学诊断试验的测量工具是连续型的，如血清抗原和酶浓度； 医学影像诊断试验的诊断结果是离散型的。 对于

14、不同的形式， roc 曲线估计方法是一样的，我们以离散型诊断结果为例。如果将诊断指标以有序分类的方式分成k 类，k = 1, , k 。其中 1 类别表示完全没患病， k类别表示肯定患病。假设对于每一个分类类别y，有一个隐藏的连续决策变量x，将结果划分到第 k 类中，如果决策变量 x在区间 () 中，k = 1 , , k;, ；即当，则 y=k。第 k 类中，nk0表示第 k 类中的正常个体数， nk1表示第 k 类中的异常个体数， n0为正常总个体数， n1表示异常总个体数， n 表示总个体数。一般可划分为5（或 6）等级，即肯定不正常、可能不正常、异常可疑、可能正常、肯定正常，分别以1、

15、2、3、4、5 标记。如表表示：诊断结果诊断分类合计1 2 3 4 5 正常n10n20n30n40n50n0异常n11n21n31n41n51n1合计n 每个分类可以作为诊断阈值 （通常从第二个分类开始， 因为若以第一个分类为阈值，其实是没有什么意义的），阳性和阴性的判断标准是：该类与以上类别的样本为阳性； 该类以下样本为阴性， 对于每一个诊断阈值， 都可以整理出类似于表 2-1 的 22的列联表。例如 ，以 表 2-2 中的 分类 3 为 诊 断 阈 值时 ，正 常 组 阳 性 个体 数为n30+n40+n50，其假阳率为异常组阳性个体数为n31+n41+n51，其真阳率为同样可以以表中的

16、分类5、4、2 为诊断阈值来计算的 roc 的坐标点，并得到相应的 fpr 和 tpr 。图描述了不同诊断阈值下的分类：此时，我们假设正常组和异常组的总体都满足正态分布。图中采用4 个诊断阈值将正常组和异常组分为 5 类。8 / 12 2.5.2 实例分析在放射学诊断试验中， 有109 份ct 影像，正常影像为 58 份，异常影像为 51 份，有位影像工作者将这些ct 影像分类为如表 2-3 所示：诊断结果诊断分类合计1 2 3 4 5 正常33 6 6 11 5 58 异常3 2 2 11 33 51 合计109 根据2.5.1 节的结论，我们可以得到以类别2、3、4、5 为诊断阈值的 22

17、的列联表，从而得到相应的roc 工作点。以类别 2为诊断阈值：诊断结果金标准合计患者健康者阳性48 25 73 阴性3 33 36 合计51 58 109 tpr=fpr=正常组阳性个体数为 25 ，其假阳性率为fpr= =0.4310 异常组阳性个体数为 48 ，其真阳性率为tpr= =0.9420 同理可得到分类3、4、5 这四个诊断阈值所对应的roc 工作点。故 fpr ，tpr=(0.4310,0.9420),(0.3296,0.9020),(0.2241,0.8627),(0.0345,0.6471)。从图可以看出，诊断阈值越严格（分类类别越高），将试验结果决策为阳性的可9 / 12

18、 信度越高；诊断阈值越宽松（分类类别越低），将试验结果决策为阳性的可信度也相应地越低。2.5.3 连续变量的非参数 roc 分析若诊断结果为连续型变量，则处理方法与上面等级变量类似，设定阈值c，当yc时为阳性，当 yc时为阴性。那么，若设“金标准”为k，则对于每一个阈值c，我们就能推断出相应的真阳率tpr （灵敏度）和假阳率 fpr （1特异度） ，设灵敏度为 sen(c) ，特异度为 spe(c) ，则有：其中， n0为金标准 k=0时的样本量，同理， n1为金标准 k=1时的样本量。如上述所示，当变量为连续型时，每个c都有对应的灵敏度和特异度，把c取遍此连续型变量在样本中的所有互异的观测值

19、，把这些点对 fpr(c) ，tpr(c)连成曲线便构成 roc 曲线。2.6 roc 曲线间差异的显著性检验roc 曲线提供了直观比较两个诊断方法准确性的方法，较高的 roc 曲线具有10 / 12 较好的诊断性能，但是如果曲线交叉，则无法直观地看出来，同时，直观上看两条曲线有差异， 但是不一定是统计显著的， 所以需要通过统计检验的方法进一步检验两种诊断方法的准确性是否有显著差别。采用参数法非参数法拟合roc 曲线有不同的检验方法。 对于双正态模型方法拟合的roc 曲线，可以采用双变量参数卡方检验（bivariate chi-square test ） 、真阳性率 z 检验（tpr z-sc

20、ore test ） 、面积 z 检验（ area z-score test） 。2.6.1 双变量参数卡方检验检验两诊断实验的双正态参数间有无差异。假设两个 roc 曲线的参数分别是、。原假设：两条双正态roc 曲线一样，即。如果原假设成立，且参数估计值为联合正态分布。则检验统计量为：服从自由度为 2 的卡方分布，其中 为行向量， 是 22 协方差矩阵，矩阵元素：2.6.2 真阳性 z 检验有时候想要研究的是在特定的假阳性率条件下，两条 roc 曲线上的真阳性率是否一样。此时并不关心两诊断实验是否产生完全一样的roc 曲线。此时，原假设为：在特定的fpr0下，两条roc曲线的tpr 相等，即

21、tpr1=tpr2=tpr0。当原假设成立，且为多变量正态，则服 从 均 值 为0， 标准 差的 随 机 正 态 分 布 。 其 中t=。2.6.2 面积 z 检验11 / 12 该方法对 roc 曲线下面积间的差值做z检验来判断两个诊断实验方法的准确性。原假设为：两条roc 曲线下面积相等，即az1=az2。 ，如果原假设成立，且样本量较大，则两诊断roc 曲线下面积的差值：近似服从均值为 0，方差为：的正态分布，其中, 为 roc 曲线的四个参数。当两个比较的诊断实验相互独立时，对应的所有交叉曲线协方差项等于0.metz等的研究表明，当正常组和异常组的样本量都超过50 时，以上检验的结果都是可靠的。2.6.3 非参数拟合 roc 曲线时，曲线下面积的比较利用 hanley 和 mcneil 非参数法拟合 roc 曲线时，比较两个 roc 曲线下面积间是否有显著差异时，可用检验统计量z 是标准正态的离差值，是两个实验的标准误， 分别有上文计算公式得到。r 是两个 roc 曲线下面积间的相关系数，计算正常组的两诊断实验间的相关系数和异常组的两诊断实验间的相关系数，得到两诊断实验的平均相关系数，以与平均面积，查表可得r 值。2.7 roc 曲线的统计软件实现本文中涉与编