第十三章诊断试验的评价

1、宇传华（宇传华（ ) )December 13December 13，20052005为什么要学习诊断试验的评价循证医学的重要内容及时取舍或灵活应用新的诊断试验（试剂、药物、方法）提高业务素质，减少患者不必要的经济开支。目 录第一节 贝叶斯定理第二节 诊断试验中常用的评价指标第三节 ROC曲线第一节 贝叶斯定理贝叶斯定理应用第二节 诊断试验中常用的评价指标例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异

2、度、常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）（四）Youden指数、（五）阳性似然比、（六）阴性似然比、指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（七）阳性预报值、 （八）阴性预报值。（八）阴性预报值。例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）2755

3、20180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0, 1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）

4、425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)医生最关心的问题：医生最关心的问题： 1. 试验阳性时患病的概率多大？试验阳性时患病的概率多大？ 2. 试验阴性时不患病的概率多大？试验阴性时不患病的概率多

5、大？例例13.2 表13.2 ECG诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现阳 性阴 性合计416(TP) 9（FP）425104(FN)171（TN）275520180700(N)阳性预报值与阴性预报值第三节 ROC曲线 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的缩写，译为的缩写，译为“接受者工接受者工作特征作特征”】ROCROC曲线研究历史曲

6、线研究历史1950s 雷达信号观测能力评价雷达信号观测能力评价1960s中期中期 实验心理学、心理物理学实验心理学、心理物理学1970s末与末与1980s初初 诊断医学诊断医学ROC的涵义与起源的涵义与起源诊断试验：泛指血液生化、影像学、免疫学、细胞学、诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。病理学、统计模型等检查。重要性：重要性： 1. 循证医学的重要组成部分循证医学的重要组成部分 2. 诊断试验评价方法可用于：诊断试验评价方法可用于： 临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价ROC曲线评价诊断试验的重要性曲线评价诊断试

7、验的重要性 灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率Test variable不同不同诊断界值诊断界值时时灵敏度与特异度间的平衡灵敏度与特异度间的平衡(trade off)(trade off)0204060801005060708090100特异度灵敏度百分率（）百分率（）Test variable完美诊断试验完美诊断试验0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR无用诊断试验无用诊断试验0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美与无用的完美与无用的ROC曲线曲线真真阳阳性性率率即即灵

8、灵敏敏度度假阳性率假阳性率 即即 1特异度特异度机率线机率线(chance line)(diagonal reference line)诊断准确度较低（诊断准确度较低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲线下面积（曲线下面积（Area）与诊断准确度高低）与诊断准确度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）

9、在ROC曲线空间的涵义曲线空间的涵义白细胞计数诊断白血病白细胞计数诊断白血病LR7.5LR0.7LR2.3LR25.0基本概念小结基本概念小结lROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度；增加特异度将降低灵敏度)。 l在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。 l在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。 l在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小

10、。lROC曲线下面积是重要的试验准确度指标。 主要任务：主要任务：l 计算计算ROC曲线工作点曲线工作点（Coordinate point或或Operating point）（）（FPR, TPR）l 连接相邻两点连接相邻两点一、一、ROC曲线工作点的计算与曲线绘制曲线工作点的计算与曲线绘制连续型数据的连续型数据的ROC曲线工作点（曲线工作点（TPR，FPR）计算）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表表133 假想的连续型数据假想的连续型数据 将诊断分类数据按大到小排序，以前4个分类作为诊断界值

11、，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。某放射医生对某放射医生对 109份份 CT影像的分类影像的分类 诊 断 分 类金标准12345合计异常 3 2 2 11 33 51正常 33 6 6 11 2 58 该资料不同诊断界值的该资料不同诊断界值的 FPR和和 TPR值值诊断界值（诊断分类）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.941210011图图 有有 序序分分类类资资料料的的未未光光滑滑R R O O C C 曲曲线线0.00.20.40.60.

12、81.00.00.20.40.60.81.0FPRTPR 2二、二、ROC曲线下面积的计算曲线下面积的计算lROC曲线下面积曲线下面积 (Area)l 部分部分ROC曲线下的面积曲线下的面积l FPR为某值对应的为某值对应的TPR值值(一) Hanley 和 McNeil ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的标准误)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1()(2221其中，1Q是两个随机选择的异常组

13、观察值比一个随机选择的正常组观察值都有更大可能被判为异常的概率。2Q是一个随机选择的异常组观察值比两个随机选择的正常组观察值都有更大可能被判为异常的概率。Mann-Whitney U 统计量统计量Hanley 和 McNeil与Mann-Whitney U 检验l由秩和检验中的Mann-Whitney U统计量（SPSS等软件均可计算）可计算ROC曲线下面积l零假设H0:总体ROC面积0.5的检验等价于Mann-Whitney U检验Mann-Whitney UMann-Whitney Umax,1znanaAn nn n统计量统计量3330.532(1)()1120.50.5()|(1)()

14、112nanaiinaZZZnaiinaUn nZn nNttNNn nAAZSE An nNttn nNN分子分母同除有SPSS输出的输出的ROC面积检验面积检验P值即为上述值即为上述Z值对应的概率值对应的概率Hanley 和 McNeil与梯形规则（trapezoidal rule） l Hanley 和 McNeil法ROC曲线下面积所有曲线下（包括最左侧的三角形）面积之和图图 有有 序序分分类类资资料料的的未未光光滑滑R R O O C C 曲曲线线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲线下面积计算方法1. 双正态法2.

15、有序回归模型3. 其他模型(如双Gama法、双指数法)2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲线下面积的（）置信区间为两曲线下面积比较检验公式：其中 为两面积间的相关系数，令 0,有：l单个连续型资料（实例1）l单个有序分类资料（实例2）l两个相关连续型资料（实例3）l两个相关有序分类资料（实例4）二、二、ROC分析的数据类型分析的数据类型Test variables采用骨髓诊断作为金标准，对采用骨髓诊断作为金标准，对100例缺铁性贫血例缺铁性贫血

16、疑似患者进行确诊，患该病者为异常组疑似患者进行确诊，患该病者为异常组(34例例)，未患该病者，未患该病者为正常组为正常组(66例例)。为了考察红细胞平均容积（。为了考察红细胞平均容积（MCV）诊断）诊断缺铁性贫血的效果，测得每一个体的缺铁性贫血的效果，测得每一个体的MCV值如下：值如下：表表 红红细细胞胞平平均均容容积积骨髓诊断MCV结果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常组9191929393939494949496979

17、8 1001035258626567686971727273737475767777异常组7879808081818182838485858688889092 注：资料来自JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable实例实例1：MCV诊断缺铁性贫血诊断缺铁性贫血图图4 4 连续性资料的两组频率分布连续性资料的两组频率分布 0.3 0.2 0.100.10.20.3556065707580859095100105组段上限值异常组频率正常组频率State Variable 骨髓诊断骨髓诊断Test

18、Variable MCV结果结果0正常组正常组1异常组异常组Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果试验测如果试验测量值越小患量值越小患病的可能性病的可能性越大时应改越大时应改变默认的变默认的OptionsSPSS输出结果Case Processing SummaryCase Processing Summary3466骨髓诊断PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger eviden

19、ce for a positive actual state.The positive actual state is 1.a. SPSS输出结果SPSS输出结果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv结果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv结果 has at le

20、ast one tie between thepositive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS输出结果MCVMCV诊断缺铁性贫血的诊断缺铁性贫血的ROCROC曲线曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线工作点某放射医生将已知实际分类的影像，某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为定异常，分别分为1、2、3、4、5五类。五类。表表 单个诊断试验的有序分类资料单个诊断试验的有序分类资料分类12345合计正常组 35 68 49 29 12 193= nn异常组 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable图图6 6 单个有序分类资料的两组频率分布单个有序分类资料的两组频率分布-0.5-0.4-0.