浅谈ROC完整版本

ROC曲线20150519郑佩杰1涵义及起源1医学常用诊断指标2ROC空间3ROC曲线绘制4ROC曲线下面积5实例应用6目录CONTENTS2涵义和起源ROC曲线（receiveroperatingcharacteristiccurve）受试者工作特征曲线。美国生物统计百科全书中关于ROC的定义是：对于可能或将会存在混淆的2种条件或自然状态，需要试验者、专业诊断学工作者以及预测工作者作出精细判别，或者准确决策的一种定量方法。常用来决定最佳诊断点。初译为“接收者工作特征曲线”，二战时期用于表示信号检测特性时创造的术语。雷达兵的判断实际目标敌机飞鸟敌机击中虚报飞鸟漏报正确排除3涵义和起源ROC曲线研究历史1950’s雷达信号观测能力评价1960’s中期实验心理学、心理物理学1970’s末与1980’s诊断医学4医学中的应用ROC曲线评价诊断试验的重要性诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分

2.诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价……5诊断试验的评价指标诊断试验的评价指标常用指标有正确百分率、灵敏度、特异度、Youden指数、阳性似然比、阴性似然比、阳性预报值、阴性预报值。金标准：对于目前没有诊断金标准的疾病，需要采用传统上认为最为准确的方法作为对照，甚至需要采用不能常规使用的一些能够准确诊断出疾病的方法来进行对比。诊断结果（T）金标准（D）合计病例（D+）对照（D-）阳性（T+）TP（真阳性）FP（假阳性）TP+FP阴性（T-）FN（假阴性）TN（真阴性）FN+TN合计TP+FNFP+TNN6ROC空间Y轴，真阳性率，在所有实际为阳性的样本中，被正确地判断为阳性之比率。又称灵敏度（sensitivity），反映诊断试验检出病例的能力。TPR=TP/(TP+FN)X轴，假阳性率，在所有实际为阴性的样本中，被错误地判断为阳性之比率。即1-特异度（specificity），（特异度又称为真阴性率，反映了诊断试验排除非病例的能力）。FPR=FP/N=FP/(FP+TN)=1–

SPCSPC=TN/N=TN/(FP+TN)

7ROC空间8ROC曲线绘制将同一模型每个阈值的(FPR,TPR)座标都画在ROC空间里，就成为特定模型的ROC曲线。如何绘制：①计算ROC曲线工作点（Coordinatepoint或Operatingpoint）（FPR,TPR）

依据专业知识，对疾病组和参照组测定结果进行分析，确定测定值的上下限、组距以及截断点（cut-offpoint），按选择的组距间隔列出累积频数分布表，分别计算出所有截断点的敏感性、特异性和假阳性率（1-特异性）,以敏感性为纵坐标代表真阳性率，（1-特异性）为横坐标代表假阳性率。

②连接相邻两点9ROC曲线绘制连续型数据的ROC曲线工作点（TPR，FPR）计算假想的连续型数据将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表金标准检测结果病例组16.513.512.811.25.0对照组8.56.44.61.7101112有序分类数据的

ROC曲线工作点（TPR，FPR）计算

将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。2

灵敏度,特异度,假阴性率,假阳性率不同诊断界点

灵敏度与特异度间的变化(cut

off)0204060801005060708090100特异度灵敏度百分率（％）诊断试验数据16如何确定cutoff值一般认为ROC曲线上左上角对应的即为cutoff值。（但此概念较模糊）

所谓的“曲线左上角”至少可以找出3种判断方式：（1）曲线与斜率为1的斜线的切点；（2）曲线与经过（0,1）和（1,0）两点直线的交点；（3）曲线上与（0,1）点绝对距离最近的点。从数学上讲，由于ROC曲线并非规则曲线，这3个点未必永远合一。约登指数（Youdenindex）：灵敏度+特异度-1最大时所对应的点为最佳诊断界值。17ROC曲线下面积ROC曲线下面积（Area）与诊断准确度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)18(一)

Hanley和McNeil非参数法

ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率Mann-WhitneyU统计量Hanley和McNeil法ROC曲线下面积

与Mann-WhitneyU

检验

由秩和检验中的Mann-WhitneyU统计量（SPSS等软件均可计算）可计算ROC曲线下面积零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-WhitneyU检验SPSS输出的ROC面积检验P值即为上述Z值对应的概率Hanley和McNeil法ROC曲线下面积

与梯形规则（trapezoidalrule）

Hanley和McNeil法ROC曲线下面积等于所有曲线下梯形（包括最左侧的三角形）面积之和其他ROC曲线下面积计算方法1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法)22两种诊断方法的统计学比较两种诊断方法的比较时，根据不同的试验设计可采用以下两种方法：①当两种诊断方法分别在不同受试者身上进行时，采用成组比较法。②如果两种诊断方法在同一受试者身上进行时，采用配对比较法。23单个连续型资料单个有序分类资料两个相关连续型资料两个相关有序分类资料应用实例Testvariables24实例：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下：StateVariableTestVariable实例：MCV诊断缺铁性贫血图4

连续性资料的两组频率分布0.30.20.100.10.20.3556065707580859095100105组段上限值异常组频率SPSS输入格式StateVariable

＝骨髓诊断TestVariable

＝MCV结果0＝正常组

1＝异常组ValueofStateVariable：127SPSS的GraphsROCCurve界面