诊断试验的评价课件2

1、第七章 诊断试验评价1第七章 诊断试验评价1内容 概述诊断试验的评价提高诊断试验效率的方法诊断试验评价的设计2内容2第一节 概述3第一节 概述3 临床诊断疾病的方法与指标不断更新，并被医生大量应用于各种各样的患者。患者交费、等待、楼上楼下地跑来跑去，伴随着疾病带来的痛苦，作为医生是否清楚哪些检查才是对诊断疾病有用的？4 临床诊断疾病的方法与指标不断更新，并被医第一节 概述诊断试验（diagnostic test）的概念 是指应用各种实验、医疗仪器等手段对病人进行检查，以确定或排除疾病的试验方法。5第一节 概述诊断试验（diagnostic test）的概诊断试验的范畴各种实验室检查病史和体检获

2、得的临床资料X线、B超、核素等影像学检查各种临床公认的诊断标准6诊断试验的范畴各种实验室检查6诊断试验评价的意义1、对诊断试验的应用价值进行科学评价。2、为临床医生合理选用诊断试验并正确解释其结果提供科学依据。临床和科研工作中怎样选择诊断试验?诊断疾病：灵敏度和特异度高诊断无症状患者：简便、经济、安全易接受疾病随访：重复性好,影响因素少7诊断试验评价的意义1、对诊断试验的应用价值进行科学评价。7诊断试验的目的: 是把病人与可疑有病、但实际无病的人区别开来，以便对确诊的病人给予相应的治疗。8诊断试验的目的:8为什么要评价诊断试验新的诊断试验方法不断被提出现有诊断方法缺陷需要新的方法对诊断结果的解

3、释（指导临床实践） 阳性结果 阴性结果 是否受患病率的影响9为什么要评价诊断试验9上海医科大学临床流行病学中心调查结果抽查了有关诊断试验评价的论著112篇 1985、1995年在5种中华医学会系列杂志发表结果：90%以上的论著设计不合理 缺乏金标准：18篇进行评价 仅有阳性率：40篇（无敏感度、特异度等评价 指标） 用LR（似然比）和AUCROC（ROC曲线下面积）：0/ 10上海医科大学临床流行病学中心调查结果抽查了有关诊断试验评价的多数论著的设计：选择一组病例，一组对照(其他病人或健康人)，再应用新的诊断试验进行测定，然后两组比较了解其诊断价值。 临床流行病学对诊断试验评价的研究设计方法尚

4、不普及，许多临床医师对评价指标尚不了解，要提高我国诊断试验评价的研究水平还需要做不少工作。11多数论著的设计：11第二节 诊断试验的评价12第二节 诊断试验的评价12诊断实验的评价主要包括： 真实性（validity） 可靠性 (reliability) 实用性13诊断实验的评价主要包括： 真实性（validity）13特定人群金标准病人非病人待评价诊断方法阳性阴性阴性阳性图2 筛检/诊断试验的评价程序滨州医学院流行病学教研室14特金标准病人非病人待评价诊断方法阳性阴性阴性阳性图2 筛检金标准 诊断试验 有病无病合计 阳性真阳性a假阳性ba+b阴性假阴性c真阴性dc+d合计a+cb+dN表1

5、诊断试验评价整理表 整理评价结果15金标准 诊断试验 有病无病合计 阳性真阳性假阳性a+b阴性假1、真实性（validity）诊断试验所获得的测量值与实际值相符合的程度,亦称效度，又称准确性。161、真实性（validity）161、灵敏度与假阴性率 灵敏度 (sensitivity) (真阳性率) 即实际有病而按该诊断试验被正确地判为有病的百分比。反映诊断试验发现病人的能力。 171、灵敏度与假阴性率17 假阴性率 (false negative rate) (漏诊率) 即实际有病而被该诊断试验错误地判段为无病的百分比。 反映的是诊断试验漏诊病人的情况。 18 假阴性率 (false neg

6、ative rate) (漏2、特异度与假阳性率 特异度 (specificity、Sp) (真阴性率) 实际无病按该诊断试验被正确地判为无病的百分比。反映诊断试验确定非病人的能力。 192、特异度与假阳性率 19 假阳性率 (false positive rate、FP) (误诊率) 即实际无病，但根据该诊断试验被定为有病的百分比。反映的是诊断试验误诊病人的情况。 20 假阳性率 (false positive rate、FP)3、约登指数（Youdens index，YI）又叫正确指数 ，反映诊断试验发现病人与非病人的总能力。 YI=Se+Sp-1（灵敏度特异度）1 1（假阳性率假阴性率）

7、 r值范围在01之间 r越大，准确性越高，与实际越符合真阳性率真阴性率213、约登指数（Youdens index，YI）真阳性率真4 符合率（agreement rate）概念：是指诊断试验中真阳性和真阴性之和占受检人数的比例，也是诊断试验结果与金标准结果的符合程度。反映正确诊断患者与排除非患者的能力。计算： 符合率=（a+d）/N诊断试验病人对照+ab-cd224 符合率（agreement rate）概念：诊断病对+a5、预测值反映诊断试验结果与实际结果符合的概率阳性预测值 （positive predictive value, +PV）阴性预测值 （negative predictiv

8、e value, -PV） 235、预测值反映诊断试验结果与实际结果符合的概率23 阳性预测值（+PV）：是指诊断试验阳性结果中真正有病的概率。24 阳性预测值（+PV）：是指诊断试验阳性结果中真正有病的概率 阴性预测值（-PV）：是指诊断试验阴性结果中真正无病的概率。 25 阴性预测值（-PV）：是指诊断试验阴性结果中真正无病的概率例 阳性预测值的计算AFP诊断肝癌，灵敏度80，特异度90患病率10/10万人肝癌非肝癌AFP+ 8 9999 10007+PV=0.08%AFP- 289991 89993Total1099990100000Pre=10/10万26例 阳性预测值的计算AFP诊断

9、肝癌，灵敏度80，特异度6.似然比 (likelihood ratio, LR)诊断试验阳性或阴性的结果分别在患者中出现的概率与非患者中出现的概率之比。是一个相对稳定的综合性评价指标，不受患病率影响。276.似然比 (likelihood ratio, LR)诊断 阳性似然比 诊断试验结果的真阳性率与假阳性率之比。比值越大诊断价值越高。28 阳性似然比28 阴性似然比 诊断试验结果的假阴性率与真阴性率之比。比值越小诊断价值越高。29 阴性似然比29例题 计算 酶联吸附法（ELISA）检查科萨奇病毒B感染与微量中和法（金标准）结果比较：Elisa法微量中和法合计CoxB阳性CoxB阴性CoxB阳

10、性(a)85(b)40125CoxB阴(c)15(d)160175合计10020030030例题 计算 酶联吸附法（ELISA）检查科萨奇评价Elisa法诊断萨奇病毒B感染的真实性的几个指标灵敏度和假阴性率（85%、15%）特异度和假阳性率（80%、20%）约登指数（65%）符合率（81.67%）预测值（阳性和阴性）（阳性68%、阴性91.43%）似然比（阳性和阴性）（阳性4.25、阴性0.19）31评价Elisa法诊断萨奇病毒B感染的真实性的几个指标灵敏度和（二）有关真实性评价指标的关系及其应用1、灵敏度和特异度的关系：两个指标是评价一项诊断试验真实性的基本指标。理想化的诊断试验二者应均为1

11、00%，现实不大 可能。32（二）有关真实性评价指标的关系及其应用1、灵敏度和特异度的关（二）各种真实性评价标的关系受检眼数无青光眼青光眼对大多数诊断试验而言，患者与非患者检查结果的分布总有不同程度的重叠。当试验方法和阳性标准固定时，灵敏度和特异度是恒定的。两个指标会随着诊断试验标准的改变而改变。33（二）各种真实性评价标的关系受无青光眼青光眼对大多数诊断试验选择诊断标准的原则如下： 1) 选择高灵敏度诊断试验，目的是尽可能发现可疑病人，避免漏诊。 某种疾病的早期发现、早期诊断将使病人获得有效治疗和康复，漏诊将会造成严重后果。34选择诊断标准的原则如下： 1) 选择高灵敏度诊断试）选择高特异度

12、诊断试验，避免误诊。误诊将会对病人造成严重的心理、生理和经济上的影响。对某种疾病的诊断持怀疑态度，需确定诊断。）选择灵敏度和特异度均较高的诊断试验如果某种疾病漏诊和误诊同等重要，应将诊断试验阳性界值定在灵敏度和特异度均较高的位置或在正确诊断指数最大处。35）选择高特异度诊断试验，避免误诊。352、预测值与灵敏度、特异度、患病率的关系 影响预测值的因素： （1）疾病的患病率：灵敏度和特异度不变时，阳性预测值随患病率上升而上升，阴性预测值随患病率的上升而下降，患病率对阳性预测值的影响更明显。 （2）灵敏度：患病率不变时，灵敏度越高的试验，阴性预测值越高。 （3）特异度：患病率不变时，特异性越高的试

13、验，阳性预测值越高。362、预测值与灵敏度、特异度、患病率的关系 影响预测值的因预测值、患病率、特异度、灵敏度之间的关系P：患病率 Se: 灵敏度Sp: 特异度37预测值、患病率、特异度、灵敏度之间的关系P：患病率 37预测值与患病率 感染率受检人数实际感染未感染真阳性假阳性+PV1/万10000010999909.910000.009910/万10000010099900999990.09021%1000001000990009909900.500010%1000001000009000099909000.9167备注：阳性预测值随患病率上升而上升。38预测值与患病率 感染率受检人数实际感染

14、未感染真阳性假阳性+患病率(%)灵敏度(%)特异度(%)筛检结果诊断 合计 阳性预测值(%)阴性预测值(%)糖尿病非糖尿病1.522.999.834205463.01169830994698.8合计1509850100001.544.399.0669816440.2849752983699.1合计150985010000摘自(流行病学进展第4卷，施侣元，1986) 表2患病率相同，灵敏度、特异度不同时糖尿病筛检结果备注：患病率不变时，灵敏度越高的试验，阴性预测值越高。患病率不变时，特异性越高的试验，阳性预测值越高。滨州医学院流行病学教研室39患病率灵敏度特异度筛检诊断 阳性预阴性预糖尿病非糖尿

15、病1.5备注：灵敏度和特异度不变时，阳性预测值随患病率上升而上升，阴性预测值随患病率的上升而下降，患病率对阳性预测值的影响更明显。40备注：灵敏度和特异度不变时，阳性预测值随患病率上升而上升，阴么么么么方面Sds绝对是假的么么么么方面Sds绝对是假的1008060402020 40 60 80 100预测值 %患病率（%）-pv+pv4210020 40 6 与预测值有关的因素：患病率： 患病率越高，阳性预测值越高患病率不变时，灵敏度越高，阴性预测值越高；特异度越高，阳性预测值越高。灵敏度与特异度不变， 患病率与阳性预测值成正比,与阴性预测值成反比。43 与预测值有关的因素：43（三）ROC曲

16、线法Receiver Operator Characteristic Curve, ROC曲线受试者工作特征曲线ROC曲线是用真阳性率(灵敏度)和假阳性率(1-特异度)作图所得曲线；表示灵敏度和特异度之间的关系。44（三）ROC曲线法Receiver Operator Ch例1、CK试验诊断心肌梗死(灵敏度和特异度)心肌梗死组 CK水平无心肌梗死组354800 84400 740001536001932001397(42%) 2801118133240129(99%)119200121160030120530215(93%)80168131540114(88%)26 2 08823013045

17、例1、CK试验诊断心肌梗死(灵敏度和特异度)心肌梗死组 CK诊断心梗的ROC曲线 假阳性率 真阳性率（灵敏度）截断点：灵敏度和特异度相对较高特异度46CK诊断心梗的ROC曲线 假阳性率 CK和EKG诊断心梗ROC曲线比较 假阳性率真阳性率（灵敏度）曲线顶点与纵坐标更接近者，属于更好的诊断试验47CK和EKG诊断心梗ROC曲线比较 假阳性率真阳ROC曲线的用途用于最佳的诊断试验分界值的选择;比较两种或两种以上诊断试验的价值.48ROC曲线的用途用于最佳的诊断试验分界值的选择;48ROC曲线的优点与局限性优点简单、直观；综合反映灵敏度与特异度；与人群患病率无关局限性不反映样本量；不直接显示判断值。

18、49ROC曲线的优点与局限性优点局限性49 休息一下50 休息一下50 二、诊断试验可靠性(reliability)的评价 指诊断试验在相同条件下进行重复操作获得相同结果的稳定程度。又称信度、精确度或可重复性。 可靠性的评价主要是检验测量变异的大小。51 二、诊断试验可靠性(reliability)的评价51（一）影响可靠性的因素：1.受试对象生物学变异 个体内变异（同一指标在同一受试者身上重复测量，时间、地点、生理、情绪影响，结果不同）和个体间变异2.观察变异：指观察者对测量结果判断的不一致而导致的差异，不同的观察者技术熟练不同，同一观察者不同时间不同地点结果不同。3.试验方法的差异：方法不

19、稳定，仪器、试剂、温度等条件和环境变化，结果出现误差。 52（一）影响可靠性的因素： 52（二）评价可靠性的指标变异系数 （coefficient of variance, CV)符合率 (agreement rate, or accuracy )诊断试验一致性分析（kappa值)53（二）评价可靠性的指标变异系数53当某试验做定量测定时，可用变异系数来表示可靠性。变异系数是所测指标的标准差和均数之比。比值越小，可靠性越好。 变异系数（CV）=测定值均数的标准差/测定值均数1 变异系数54当某试验做定量测定时，可用变异系数来表示可靠性。变异系数是所2 符合率概念：又称准确度。定性测定中，同一批

20、研究对象两次实验结果均为阳性与均为阴性的人数占所有进行实验人数的比率。可用于两个医师诊断同一组病人，或者同一医师两次诊断同一组病人的结果。符合率=（a+d）/(a+b+c+d)100%调整一致率552 符合率概念：又称准确度。定性测定中，同一批研究对象两次3.诊断试验一致性分析 Kappa值计算衡量临床医生的诊断水平如何，他们之间对同一人群的诊断结果是否存在差异，可采用Kappa值分析。Kappa值表示不同操作者对同一试验结果，或同一操作者不同时间判断同一批结果的一致性强度的指标。Kappa值考虑了机遇因素对一致性的影响并加以校正，从而提高了判断的有效性。563.诊断试验一致性分析 Kappa

21、值计算衡量临床医生的诊断水3.诊断试验一致性分析 Kappa值计算 甲、乙医生阅读同样100张胸部X线片的诊断一致性 甲医生肺门淋巴结核正常乙医生肺门淋巴结核 46 a 10 b 56(r1)正常 12 c32 d 44(r2) 58 (c1) 42 (c2)100 N 观察一致率(po)= （a+d）/N po= 46+32/100=78% 机遇一致率(pc)= (r1 c1)/N+ (r2 c2)/N/N pc=(5658)/100+(4442)/100)/100 =51%非机遇一致率=1-pc 非机遇一致率=100%-51%=49%实际一致率=po-pc 实际一致率= 78%-51%=2

22、7%Kappa值=（po-pc/ （ 1-p c） Kappa值 =27%/49%=0.55573.诊断试验一致性分析 Kappa值计算 甲、乙医生阅读同Kappa值计算 甲医生两次阅读同样100张胸部X线片的一致率观察一致率(po)= （a+d）/N po= 69+19/100=88% 机遇一致率(pc)= (r1 c1)/N+ (r2c2)/N)/N pc=(8070)/100+(2030)/100)/100 =62%非机遇一致率=1-pc 非机遇一致率=100%-62%=38%实际一致率=po-pc 实际一致率= 88%-62%=26%Kappa值=（po-pc）/（1-pc ） Kap

23、pa值 =26%/38%=0.68 第1次肺门淋巴结核正常第2次肺门淋巴结核 69 a11 b 80 (r1)正常 1 c19 d 20 (r2) 70 (c1) 30 (c2)100（N）58Kappa值计算 甲医生两次阅读同样100张胸部X线片的一致Kappa值判断标准 Kappa值 一致性强度 1 完全一致 -1 完全不一致 0 完全由机遇所致 0.40.75 中度、高度一致 0.75 极好的一致性 0.40 一致性差59Kappa值判断标准 Kappa值 三、诊断试验的实用性评价简单实用？迅速用于临床？步骤、方法、仪器设备、试剂。注意事项？病人和患者接受？-伦理、创伤性成本:社会效益、

24、经济效益、成本效益60三、诊断试验的实用性评价简单实用？60第三节 提高诊断试验效率的方法61第三节 提高诊断试验效率的方法61一、选择患病率高的人群灵敏度与特异度不变， 患病率与阳性预测值成正比62一、选择患病率高的人群灵敏度与特异度不变， 患病率与阳性预测二、联合试验 串联 ：系列试验 ：A和B 只有全部试验皆为阳性，才认为是阳性（有病）增加了特异度；但降低了灵敏度和增大了漏诊。63二、联合试验 串联 ：系列试串联试验适用于：1、虽然有几项试验方法，但是单项试验特异度不高2、慢性病，不一定需要迅速作出诊断，但需要增加正确性3、诊断某冰的某项试验危险昂贵，可先选择简单安全的试验串联。串联试验

25、的灵敏度=A试验的灵敏度 B试验的灵敏度串联试验的特异度=A试验的特异度+ B试验的特异度（1- A试验的特异度）原则：先用特异度高的试验再用灵敏度高的试验，减少成本，提高效率。64串联试验适用于：64并联：平行试验 ：A或B 只要有一个试验为阳性，就判定为阳性（有病）提高了灵敏度，但特异度下降和增大了误诊。65并联：平行试验 ：A或B 并联试验适用于：1、疾病对人群影响很大，目前尚未找到一种高灵敏的试验有效确诊，但已有几项现存的不太灵敏的试验2、对于住院或急症病人、复诊困难的病人、医疗条件不足的病人，急需做诊断。并联试验的灵敏度=A试验的灵敏度+ B试验的灵敏度（1- A试验的灵敏度）并联试

26、验的特异度=A试验的特异度 B试验的特异度66并联试验适用于：6667676868第四节 诊断试验评价的设计69第四节 诊断试验评价的设计69基本方法确定金标准研究对象和选择和分组同步盲法测试研究对象并比较考虑样本含量和代表性70基本方法确定金标准70一、确定金标准 金标准（Gold standard）：是指当前医学界公认的诊断或排除某病最可靠的诊断方法。这种公认的、可靠的、准确的诊断方法，在诊断试验中称之为。 The best available test that is used as comparison is called the GOLD STANDARD 如病理检查(活检、尸检)、手术探查、病原体的分离及抗体检测、特殊影象学检查等。有些疾病尚无特异性诊断标准，则以专家制订、得到公认的临床诊断标准为依据。目的：将研究人群准确地分为有病和无病两组71一、确定金标准 金标准（Gold standard）：是冠心病: 冠状动脉造影肿瘤:病理学检查肾结石:手术发现例：