医学统计学诊断试验评价简介

1、第二十章诊断试验评价方法简介学习目标学习目标1.了解诊断试验的评价方法及常用指标了解诊断试验的评价方法及常用指标2. 了解了解ROC曲线的应用曲线的应用3. 能够运用统计软件进行能够运用统计软件进行ROC曲线分析曲线分析（1）什么是诊断试验？）什么是诊断试验？（2）诊断试验的常用评价指标？）诊断试验的常用评价指标？问题提出问题提出u 诊断试验：诊断试验：u诊断试验（诊断试验（diagnostic test）：临床上为给）：临床上为给病人作出诊断（即确定或排除疾病）所应用病人作出诊断（即确定或排除疾病）所应用的各种试验或检查方法。的各种试验或检查方法。u包括各种实验室检查（生物化学、免疫学、包括

2、各种实验室检查（生物化学、免疫学、微生物学、病理学等）、影像诊断（超声波、微生物学、病理学等）、影像诊断（超声波、CT、X线、核磁共振等）、仪器检查（心电线、核磁共振等）、仪器检查（心电图、脑电图、核素扫描、内窥镜等），还包图、脑电图、核素扫描、内窥镜等），还包括病史询问、体格检查等。括病史询问、体格检查等。诊断试验的基本概念诊断试验的基本概念诊断试验的基本概念诊断试验的基本概念u 诊断试验的评价：诊断试验的评价：u就是将待评价的诊断试验与诊断目标疾病就是将待评价的诊断试验与诊断目标疾病的标准方法的标准方法即即“金标准金标准”（gold standard）进行同步盲法比较，判定该进行同步盲法比

3、较，判定该方法对疾病方法对疾病“诊断诊断”的真实性和价值。的真实性和价值。u 所谓所谓“金标准金标准”：是指当前临床医学界：是指当前临床医学界公认的诊断疾病的最可靠方法，也称为标准公认的诊断疾病的最可靠方法，也称为标准诊断。通常包括：活检、手术发现、微生物诊断。通常包括：活检、手术发现、微生物培养、尸检、特殊检查和影像诊断，以及长培养、尸检、特殊检查和影像诊断，以及长期随访结果。期随访结果。u 例如：例如：u 冠心病：冠心病： 冠状动脉造影冠状动脉造影u 肿肿 瘤：瘤： 病理学检查病理学检查u 肾结石：肾结石： 手术发现。手术发现。u 由于金标准多具有创伤性，因此探求一由于金标准多具有创伤性，

4、因此探求一些新的诊断方法或诊断试验，并比较其与金些新的诊断方法或诊断试验，并比较其与金标准的差别、得失及推广价值有现实意义。标准的差别、得失及推广价值有现实意义。例20.1 某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/ mL），诊断结果见表20.1。试评价CYFR A21-1作为肺癌诊断指标的准确性。 表20.1 272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例诊断试验评价的应用实例诊断试验评价的流程图诊断试验评价的流程图特定人群特定人群金标准金标准非病人非病人病人病人阴性阴性阳性阳性阳性阳性阴性阴性诊断试验诊断试验结果评价

5、结果评价o 1.灵敏度灵敏度 (Sensitivity)和特异度和特异度(Specificity)o 2.假阳性率假阳性率(FPR)和假阴性率和假阴性率(FNR)o 3.阳性和阴性似然比阳性和阴性似然比(Likelihood ratio，LR)o 4.阳性和阴性预测值（阳性和阴性预测值（Predictive value，PV）o 5.约登指数约登指数o 6.一致率一致率o 7.诊断比数比（诊断比数比（Diagnostic Odds Ratio, DOR）o 诊断试验的常用评价指标诊断试验的常用评价指标表表20.2 诊断试验与金标准的检测结果诊断试验与金标准的检测结果常用评价指标的计算常用评价指

6、标的计算1.灵敏度灵敏度 (Sensitivity，Se)：真阳性率，是指患者中：真阳性率，是指患者中诊断为阳性的概率，反映真实情况为有病时诊断试诊断为阳性的概率，反映真实情况为有病时诊断试验发现疾病的能力。验发现疾病的能力。 Se a/(a+c)100%=a/D 特异度特异度(Specificity，Sp)：真阴性率，指非患者中：真阴性率，指非患者中诊断为阴性的概率，反映真实情况为无病时诊断试诊断为阴性的概率，反映真实情况为无病时诊断试验排除疾病的能力。验排除疾病的能力。 Spd/(b+d )100%=d/ND2.假阳性率假阳性率(FPR, )：亦称误诊率，指非患：亦称误诊率，指非患者错判为

7、阳性的概率。者错判为阳性的概率。b/(b+d) 1001 - Spc/(a+c) 1001-Se 假阴性率(FNR, )：亦称漏诊率，指患者 错判为阴性的概率。常用评价指标的计算常用评价指标的计算o 12-3 某医院收治急性心前区疼痛疑诊急性心肌梗某医院收治急性心前区疼痛疑诊急性心肌梗死患者死患者360例。为研究血清磷酸肌酸激酶例。为研究血清磷酸肌酸激酶(CPK)对急对急性心肌梗死的诊断价值，在经冠脉造影或心电图性心肌梗死的诊断价值，在经冠脉造影或心电图(金金标准标准)确诊的基础上，同步检测患者确诊的基础上，同步检测患者CPK，设诊断异，设诊断异常界值为常界值为80u/L，结果见表，结果见表1

8、2-2。试分析其。试分析其Se与与Sp。表表12-2 CPK对急性心肌梗死的诊断价值对急性心肌梗死的诊断价值CPK(IU/L)心肌梗死心肌梗死无心肌梗死无心肌梗死合合 计计阳性阳性(80)225 24249阴性阴性(80) 25121146合合 计计250145395分析计算分析计算:o 灵敏度（真阳性率）灵敏度（真阳性率）=(225/250) 10090.0%o 特异度（真阴性率）特异度（真阴性率）=(121/145) 10083.4%o 误诊率（假阳性率）误诊率（假阳性率）= (24/145) 10016.6%o 漏诊率（假阴性率）漏诊率（假阴性率） = (25/250) 10010.0%

9、3. 似然比（似然比（likelihood ratio, LR）：）：患者人群中试验结果的概率与无病人群中试验结果患者人群中试验结果的概率与无病人群中试验结果概率之比。概率之比。（1）阳性似然比（）阳性似然比（positive likelihood ratio，LR(+)）：即真阳性率与假阳性率之比值。是说明病）：即真阳性率与假阳性率之比值。是说明病人中出现某种检测结果阳性的概率是非病人的多少人中出现某种检测结果阳性的概率是非病人的多少倍。倍。a/(a+c)a/(a+c)b/(b+d)b/(b+d) LR(+) =Se/(1-Sp) （2）阴性似然比（）阴性似然比（negative likel

10、ihood ratio，LR(-)）：）： 假阴性率与真阴性率之比值。说明病人中出现某种假阴性率与真阴性率之比值。说明病人中出现某种 检测结果为阴性的概率是非病人的多少倍。检测结果为阴性的概率是非病人的多少倍。c/(a+c)c/(a+c)d/(b+d)d/(b+d)LR(-) =（1-Se）/ Spu 似然比反映了敏感度与特异度两方面的特性，似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是比敏感性和特异性更不受患病率的影响，是比敏感性和特异性更稳定的指标。稳定的指标。u 似然比在临床诊断中有实用价值。当知道了似然比在临床诊断中有实用价值。当知道了某诊断试验的阳性似然比，并了解到所诊

11、断某诊断试验的阳性似然比，并了解到所诊断疾病的患病率，就可计算在不同患病率情况疾病的患病率，就可计算在不同患病率情况下该试验的预测值。下该试验的预测值。4.预测值（预测值（Predictive value，PV）是根据诊断试验的结果来估计患病和不患病的是根据诊断试验的结果来估计患病和不患病的可能性大小。可能性大小。阳性预测值：阳性预测值：表示阳性结果中真正患病的概率。表示阳性结果中真正患病的概率。阴性预测值：阴性预测值：表示阴性结果中真正未患病的概率。表示阴性结果中真正未患病的概率。5. 约登指数（约登指数（Youden index，YI）是反映诊断试验真实性的综合评价指标。是反映诊断试验真实

12、性的综合评价指标。 YI=Se+Sp-1YI越大说明诊断试验真实性越好，越大说明诊断试验真实性越好，YI小于或小于或等于等于0，表示诊断试验无任何临床应用价值。，表示诊断试验无任何临床应用价值。6. 一致率（一致率（Agreement rate）又称正确率、真实度，是样本的诊断结果诊断又称正确率、真实度，是样本的诊断结果诊断正确的概率。正确的概率。 一致率一致率=（a+d）/（a+b+c+d）100%注意：由于该指标受患病率和诊断界值的影响，注意：由于该指标受患病率和诊断界值的影响，计算结果差异较大，故一般不建议用于诊断试计算结果差异较大，故一般不建议用于诊断试验评价。验评价。7. 诊断比数比

13、（诊断比数比（Diagnostic Odds Ratio, DOR）：）：是阳性似然比是阳性似然比LR+与阴性似然比与阴性似然比LR-之比。该指标在之比。该指标在单个诊断试验评价中不常用，但由于单个诊断试验评价中不常用，但由于DOR是将是将Se、Sp和和LR进行综合计算的指标，在诊断试验进行综合计算的指标，在诊断试验Meta分析分析中常用到。中常用到。TPTPTNTNFPFPFNFN DOR = LR (+) / LR (-) 例20.1 某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/ mL），诊断结果见表20.1。试评价CYFR A21-1作为肺癌诊

14、断指标的准确性。 表20.1 272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例诊断试验评价的应用实例提高诊断试验效率的方法提高诊断试验效率的方法 为提高诊断试验的效率，根据研究目的不同，可以采用不同的联合试验。常用的包括平行试验和系列试验：1.平行试验：同时多个试验进行诊断，有一个结果为阳性则判为患者。可提高Se，但Sp会下降，误判率增加。2.系列试验：同时多个试验进行诊断，所有结果为阳性者才能判为患者，可提高Sp，但Se会下降，漏判率增加。1、ROC曲线的定义：曲线的定义：（Receiver Operator Characteristic Curve）又称受试者）又

15、称受试者工作特性曲线。工作特性曲线。“对于存在或可能存在混淆的两种条件对于存在或可能存在混淆的两种条件或或 自然状态，需要受试者、专业诊断学工作者以及预测自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方工作者做出精确判断，或者准确决策的一种定量方法。法。”美国生物统计百科全书美国生物统计百科全书2、制图方法、制图方法研究者以每个检测结果作为可能的诊断界值（研究者以每个检测结果作为可能的诊断界值（cut off），计算相应的灵敏度、特异度，然后以灵敏度），计算相应的灵敏度、特异度，然后以灵敏度（真阳性率）为纵座标、（真阳性率）为纵座标、 1特异度（假阳性

16、率）特异度（假阳性率）为横坐标作图，将各点联成曲线即为为横坐标作图，将各点联成曲线即为ROC曲线。曲线。 3、主要用途、主要用途（1）选择最佳的诊断界限值。）选择最佳的诊断界限值。（2）比较两种以上诊断试验的诊断价值。）比较两种以上诊断试验的诊断价值。ROC曲线下面积（曲线下面积（AUC）o AUC取值范围在取值范围在0.51。o 一般认为：一般认为：0.50.7 诊断价值较低诊断价值较低o 0.70.9 诊断价值中等诊断价值中等o 0.9以上诊断价值较高以上诊断价值较高o 该指标因不受患病率和诊断界值影响，因而成该指标因不受患病率和诊断界值影响，因而成为目前公认的标准评价指标。为目前公认的标

17、准评价指标。曲线下面积（曲线下面积（AUC）估计方法）估计方法o 包括：参数法和非参数，均适用于测量指标为连续性或等级资料的诊断试验准确度评价。o 自从Bamber 于1975 年提出ROC 曲线下面积估计方法以来, 许多学者通过对不同资料类型进行的研究, 相继提出了ROC 曲线面积估计、可信区间估计和面积比较的假设检验的参数和非参数方法。（一）（一）AUC估计的双正态参数法估计的双正态参数法o 假定条件：假设患者和非患者的实验结果均符合正态分布，根据试验结果拟合双正态模型下的ROC曲线。o 两个参数：o a表示患者组与非患者组试验结果的标准化均数差值；o b表示非患者组与患者组的试验结果的标

18、准差之比。,yxxSxyabSSo 分别是患者组和非患者组检测结果的o 均数， 分别是患者组和非患者组检测结o 果的标准差。o 由两个参数可得到绘制光滑ROC曲线下面积o 的估计值，其计算公式如下：o A为ROC曲线下面积， 为标准正态分布函数.xy和xySS和2()1aAb o 参数法的ML估计和AUC计算，可以通过ROCKIT软件完成。ROCKIT软件免费下载地址：o MetzROC/software（二）（二）AUC估计的非参数法估计的非参数法o 经验经验ROC曲线：根据诊断试验的检测结果曲线：根据诊断试验的检测结果直接计算绘制直接计算绘制ROC曲线所需的工作点（真曲线所需的工作点（真阳

19、性率，假阳性率），由此绘制的曲线称为阳性率，假阳性率），由此绘制的曲线称为经验经验ROC曲线。曲线。o Hanley于于1982年提出：在资料分布未知年提出：在资料分布未知的情况下，引用的情况下，引用Wilcoxon统计量的思想，统计量的思想，将各分割点看作可依次排序的秩项，列出计将各分割点看作可依次排序的秩项，列出计算表，估计曲线下面积及其标准误。算表，估计曲线下面积及其标准误。o 计算方法：计算方法：o 1）假设患者组有）假设患者组有nx个检测结果，记作个检测结果，记作xi（o i=1,2, nx）；非患者组有）；非患者组有ny个检测结个检测结果果o ，记为，记为yj（j=1,2, ny）。）。o 2）假定某指标检测结果越大，为患者的可）假定某指标检测结