诊疗试验的评价专家讲座

第七章

诊疗试验评价诊疗试验的评价专家讲座第1页内容概述诊疗试验评价提升诊疗试验效率方法诊疗试验评价设计滨州医学院流行病学教研室诊疗试验的评价专家讲座第2页第一节概述滨州医学院流行病学教研室诊疗试验的评价专家讲座第3页

临床诊疗疾病方法与指标不停更新，并被医生大量应用于各种各样患者。患者交费、等候、楼上楼下地跑来跑去，伴伴随疾病带来痛苦，作为医生是否清楚哪些检验才是对诊疗疾病有用？滨州医学院流行病学教研室诊疗试验的评价专家讲座第4页第一节概述诊疗试验（diagnostictest）概念

是指应用各种试验、医疗仪器等伎俩对病人进行检验，以确定或排除疾病试验方法。滨州医学院流行病学教研室诊疗试验的评价专家讲座第5页诊疗试验范围各种试验室检验病史和体检取得临床资料X线、B超、核素等影像学检验各种临床公认诊疗标准滨州医学院流行病学教研室诊疗试验的评价专家讲座第6页诊疗试验评价意义1、对诊疗试验应用价值进行科学评价。2、为临床医生合理选取诊疗试验并正确解释其结果提供科学依据。临床和科研工作中怎样选择诊疗试验?诊疗疾病：灵敏度和特异度高诊疗无症状患者：简便、经济、安全易接收疾病随访：重复性好,影响原因少滨州医学院流行病学教研室诊疗试验的评价专家讲座第7页诊疗试验目标:

是把病人与可疑有病、但实际无病人区分开来，方便对确诊病人给予对应治疗。滨州医学院流行病学教研室诊疗试验的评价专家讲座第8页为何要评价诊疗试验新诊疗试验方法不停被提出现有诊疗方法缺点需要新方法对诊疗结果解释（指导临床实践）阳性结果阴性结果是否受患病率影响滨州医学院流行病学教研室诊疗试验的评价专家讲座第9页上海医科大学临床流行病学中心调查结果抽查了相关诊疗试验评价论著112篇

1985、1995年在5种中华医学会系列杂志发表结果：90%以上论著设计不合理

缺乏金标准：18篇进行评价仅有阳性率：40篇（无敏感度、特异度等评价指标）用LR（似然比）和AUCROC（ROC曲线下面积）：0/

滨州医学院流行病学教研室诊疗试验的评价专家讲座第10页多数论著设计：选择一组病例，一组对照(其它病人或健康人)，再应用新诊疗试验进行测定，然后两组比较了解其诊疗价值。

临床流行病学对诊疗试验评价研究设计方法尚不普及，许多临床医师对评价指标尚不了解，要提升我国诊疗试验评价研究水平还需要做不少工作。滨州医学院流行病学教研室诊疗试验的评价专家讲座第11页第二节

诊疗试验评价滨州医学院流行病学教研室诊疗试验的评价专家讲座第12页诊疗试验评价主要包含：

真实性（validity）可靠性(reliability)实用性滨州医学院流行病学教研室诊疗试验的评价专家讲座第13页特定人群金标准病人非病人待评价诊疗方法阳性阴性阴性阳性图2

筛检/诊疗试验评价程序滨州医学院流行病学教研室诊疗试验的评价专家讲座第14页金标准

诊疗试验有病无病累计阳性真阳性a假阳性ba+b阴性假阴性c真阴性dc+d累计a+cb+dN表1诊疗试验评价整理表

整理评价结果滨州医学院流行病学教研室诊疗试验的评价专家讲座第15页1、真实性（validity）诊疗试验所取得测量值与实际值相符合程度,亦称效度，又称准确性。滨州医学院流行病学教研室诊疗试验的评价专家讲座第16页1、灵敏度与假阴性率

灵敏度

(sensitivity)

(真阳性率)

即实际有病而按该诊疗试验被正确地判为有病百分比。反应诊疗试验发觉病人能力。

滨州医学院流行病学教研室诊疗试验的评价专家讲座第17页

假阴性率

(falsenegativerate)(漏诊率)

即实际有病而被该诊疗试验错误地判段为无病百分比。反应是诊疗试验漏诊病人情况。滨州医学院流行病学教研室诊疗试验的评价专家讲座第18页2、特异度与假阳性率

特异度

(specificity、Sp)(真阴性率)

实际无病按该诊疗试验被正确地判为无病百分比。反应诊疗试验确定非病人能力。

滨州医学院流行病学教研室诊疗试验的评价专家讲座第19页

假阳性率

(falsepositiverate、FP)

(误诊率)

即实际无病，但依据该诊疗试验被定为有病百分比。反应是诊疗试验误诊病人情况。

滨州医学院流行病学教研室诊疗试验的评价专家讲座第20页3、约登指数（Youden’sindex，YI）又叫正确指数

，反应诊疗试验发觉病人与非病人总能力。YI=Se+Sp-1＝（灵敏度＋特异度）－1

＝1－（假阳性率＋假阴性率）

r值范围在0~1之间r越大，准确性越高，与实际越符合真阳性率真阴性率滨州医学院流行病学教研室诊疗试验的评价专家讲座第21页4符合率（agreementrate）概念：是指诊疗试验中真阳性和真阴性之和占受检人数百分比，也是诊疗试验结果与金标准结果符合程度。反应正确诊疗患者与排除非患者能力。计算：

符合率=（a+d）/N诊疗试验病人对照+ab-cd滨州医学院流行病学教研室诊疗试验的评价专家讲座第22页5、预测值反应诊疗试验结果与实际结果符合概率阳性预测值（positivepredictivevalue,+PV）阴性预测值（negativepredictivevalue,-PV）

滨州医学院流行病学教研室诊疗试验的评价专家讲座第23页

阳性预测值（+PV）：是指诊疗试验阳性结果中真正有病概率。滨州医学院流行病学教研室诊疗试验的评价专家讲座第24页

阴性预测值（-PV）：是指诊疗试验阴性结果中真正无病概率。

滨州医学院流行病学教研室诊疗试验的评价专家讲座第25页例阳性预测值计算AFP诊疗肝癌，灵敏度＝80％，特异度＝90％患病率＝10/10万人

肝癌 非肝癌AFP+ 8 9999 10007 +PV=0.08%AFP- 2 89991 89993Total 10 99990 100000 Pre=10/10万

滨州医学院流行病学教研室诊疗试验的评价专家讲座第26页6.似然比(likelihoodratio,LR)诊疗试验阳性或阴性结果分别在患者中出现概率与非患者中出现概率之比。是一个相对稳定综合性评价指标，不受患病率影响。滨州医学院流行病学教研室诊疗试验的评价专家讲座第27页

阳性似然比

诊疗试验结果真阳性率与假阳性率之比。比值越大诊疗价值越高。滨州医学院流行病学教研室诊疗试验的评价专家讲座第28页

阴性似然比

诊疗试验结果假阴性率与真阴性率之比。比值越小诊疗价值越高。滨州医学院流行病学教研室诊疗试验的评价专家讲座第29页例题计算酶联吸附法（ELISA）检验科萨奇病毒B感染与微量中和法（金标准）结果比较：Elisa法微量中和法累计CoxB阳性CoxB阴性CoxB阳性(a)85(b)40125CoxB阴(c)15(d)160175累计100200300滨州医学院流行病学教研室诊疗试验的评价专家讲座第30页评价Elisa法诊疗萨奇病毒B感染真实性几个指标灵敏度和假阴性率（85%、15%）特异度和假阳性率（80%、20%）约登指数（65%）符合率（81.67%）预测值（阳性和阴性）（阳性68%、阴性91.43%）似然比（阳性和阴性）（阳性4.25、阴性0.19）滨州医学院流行病学教研室诊疗试验的评价专家讲座第31页（二）相关真实性评价指标关系及其应用1、灵敏度和特异度关系：两个指标是评价一项诊疗试验真实性基本指标。理想化诊疗试验二者应均为100%，现实不大可能。滨州医学院流行病学教研室诊疗试验的评价专家讲座第32页（二）各种真实性评价标关系受检眼数无青光眼青光眼对大多数诊疗试验而言，患者与非患者检验结果分布总有不一样程度重合。当试验方法和阳性标准固定时，灵敏度和特异度是恒定。两个指标会伴随诊疗试验标准改变而改变。滨州医学院流行病学教研室诊疗试验的评价专家讲座第33页选择诊疗标准标准以下：

1)选择高灵敏度诊疗试验，目标是尽可能发觉可疑病人，防止漏诊。某种疾病早期发觉、早期诊疗将使病人取得有效治疗和康复，漏诊将会造成严重后果。滨州医学院流行病学教研室诊疗试验的评价专家讲座第34页２）选择高特异度诊疗试验，防止误诊。

①误诊将会对病人造成严重心理、生理和经济上影响。②对某种疾病诊疗持怀疑态度，需确定诊疗。３）选择灵敏度和特异度均较高诊疗试验

假如某种疾病漏诊和误诊同等主要，应将诊疗试验阳性界值定在灵敏度和特异度均较高位置或在正确诊疗指数最大处。滨州医学院流行病学教研室诊疗试验的评价专家讲座第35页2、预测值与灵敏度、特异度、患病率关系影响预测值原因：（1）疾病患病率：灵敏度和特异度不变时，阳性预测值随患病率上升而上升，阴性预测值随患病率上升而下降，患病率对阳性预测值影响更显著。（2）灵敏度：患病率不变时，灵敏度越高试验，阴性预测值越高。（3）特异度：患病率不变时，特异性越高试验，阳性预测值越高。滨州医学院流行病学教研室诊疗试验的评价专家讲座第36页预测值、患病率、特异度、灵敏度之间关系P：患病率Se:灵敏度Sp:特异度滨州医学院流行病学教研室诊疗试验的评价专家讲座第37页预测值与患病率

感染率受检人数实际感染未感染真阳性假阳性+PV1/万10000010999909.910000.009910/万10000010099900999990.09021%1000001000990009909900.500010%1000001000009000099909000.9167备注：阳性预测值随患病率上升而上升。滨州医学院流行病学教研室诊疗试验的评价专家讲座第38页患病率(%)灵敏度(%)特异度(%)筛检结果诊疗累计阳性预测值(%)阴性预测值(%)糖尿病非糖尿病1.522.999.8＋34205463.0

－11698309946

98.8

累计150985010000

1.544.399.0＋669816440.2

－8497529836

99.1

累计150985010000

摘自(《流行病学进展》第4卷，施侣元，1986)

表2患病率相同，灵敏度、特异度不一样时糖尿病筛检结果备注：患病率不变时，灵敏度越高试验，阴性预测值越高。患病率不变时，特异性越高试验，阳性预测值越高。滨州医学院流行病学教研室诊疗试验的评价专家讲座第39页备注：灵敏度和特异度不变时，阳性预测值随患病率上升而上升，阴性预测值随患病率上升而下降，患病率对阳性预测值影响更显著。滨州医学院流行病学教研室诊疗试验的评价专家讲座第40页1008060402020406080100预测值

%患病率（%）-pv+pv滨州医学院流行病学教研室诊疗试验的评价专家讲座第41页

与预测值相关原因：患病率：

患病率越高，阳性预测值越高患病率不变时，灵敏度越高，阴性预测值越高；特异度越高，阳性预测值越高。灵敏度与特异度不变，

患病率与阳性预测值成正比,与阴性预测值成反比。滨州医学院流行病学教研室诊疗试验的评价专家讲座第42页（三）ROC曲线法

ReceiverOperatorCharacteristicCurve,

ROC曲线受试者工作特征曲线ROC曲线是用真阳性率(灵敏度)和假阳性率(1-特异度)作图所得曲线；表示灵敏度和特异度之间关系。滨州医学院流行病学教研室诊疗试验的评价专家讲座第43页例1、CK试验诊疗心肌梗死(灵敏度和特异度)心肌梗死组 CK水平 无心肌梗死组 35 480 0 8 440 0 7 400 0 15 360 0 19 320 0 13 97(42%)

280

1 1 18 133

240 129(99%) 1 19 200 1 21 160 0 30 120 5 30 215(93%)

80

16 8 13 15

40 114(88%) 26 2 0 88 230 130滨州医学院流行病学教研室诊疗试验的评价专家讲座第44页CK诊疗心梗ROC曲线

假阳性率

真阳性率（灵敏度）截断点：灵敏度和特异度相对较高特异度滨州医学院流行病学教研室诊疗试验的评价专家讲座第45页CK和EKG诊疗心梗ROC曲线比较假阳性率真阳性率（灵敏度）曲线顶点与纵坐标更靠近者，属于更加好诊疗试验滨州医学院流行病学教研室诊疗试验的评价专家讲座第46页ROC曲线用途用于最正确诊疗试验分界值选择;比较两种或两种以上诊疗试验价值.滨州医学院流行病学教研室诊疗试验的评价专家讲座第47页ROC曲线优点与不足优点简单、直观；综合反应灵敏度与特异度；与人群患病率无关不足不反应样本量；不直接显示判断值。滨州医学院流行病学教研室诊疗试验的评价专家讲座第48页休息一下滨州医学院流行病学教研室诊疗试验的评价专家讲座第49页

二、诊疗试验可靠性(reliability)评价

指诊疗试验在相同条件下进行重复操作取得相同结果稳定程度。又称信度、准确度或可重复性。

可靠性评价主要是检验测量变异大小。滨州医学院流行病学教研室诊疗试验的评价专家讲座第50页（一）影响可靠性原因：1.受试对象生物学变异个体内变异（同一指标在同一受试者身上重复测量，时间、地点、生理、情绪影响，结果不一样）和个体间变异2.观察变异：指观察者对测量结果判断不一致而造成差异，不一样观察者技术熟练不一样，同一观察者不一样时间不一样地点结果不一样。3.试验方法差异：方法不稳定，仪器、试剂、温度等条件和环境改变，结果出现误差。

滨州医学院流行病学教研室诊疗试验的评价专家讲座第51页（二）评价可靠性指标变异系数（coefficientofvariance,CV)符合率

(agreementrate,oraccuracy)诊疗试验一致性分析（kappa值)滨州医学院流行病学教研室诊疗试验的评价专家讲座第52页当某试验做定量测定时，可用变异系数来表示可靠性。变异系数是所测指标标准差和均数之比。比值越小，可靠性越好。

变异系数（CV）=测定值均数标准差/测定值均数1变异系数滨州医学院流行病学教研室诊疗试验的评价专家讲座第53页2符合率

概念：又称准确度。定性测定中，同一批研究对象两次试验结果均为阳性与均为阴性人数占全部进行试验人数比率。可用于两个医师诊疗同一组病人，或者同一医师两次诊疗同一组病人结果。符合率=（a+d）/(a+b+c+d)×100%调整一致率滨州医学院流行病学教研室诊疗试验的评价专家讲座第54页3.诊疗试验一致性分析Kappa值计算衡量临床医生诊疗水平怎样，他们之间对同一人群诊疗结果是否存在差异，可采取Kappa值分析。Kappa值表示不一样操作者对同一试验结果，或同一操作者不一样时间判断同一批结果一致性强度指标。Kappa值考虑了机遇原因对一致性影响并加以校正，从而提升了判断有效性。滨州医学院流行病学教研室诊疗试验的评价专家讲座第55页3.诊疗试验一致性分析Kappa值计算

甲、乙医生阅读一样100张胸部X线片诊疗一致性甲医生肺门淋巴结核正常乙医生肺门淋巴结核

46a10

b

56(r1)正常

12c32d

44(r2)

58

(c1)

42

(c2)100

N

观察一致率(po)=（a+d）/Npo=46+32/100=78%

机遇一致率(pc)=[(r1

c1)/N+(r2

c2)/N]/N

pc=((5658)/100+(4442)/100)/100=51%非机遇一致率=1-pc

非机遇一致率=100%-51%=49%实际一致率=po-pc

实际一致率=78%-51%=27%Kappa值=（po-pc/（1-pc）

Kappa值=27%/49%=0.55滨州医学院流行病学教研室诊疗试验的评价专家讲座第56页Kappa值计算

甲医生两次阅读一样100张胸部X线片一致率观察一致率(po)=（a+d）/Npo=69+19/100=88%

机遇一致率(pc)=((r1

c1)/N+(r2c2)/N)/N

pc=((8070)/100+(2030)/100)/100=62%非机遇一致率=1-pc

非机遇一致率=100%-62%=38%实际一致率=po-pc

实际一致率=88%-62%=26%Kappa值=（po-pc）/（1-pc）Kappa值=26%/38%=0.68第1次肺门淋巴结核正常第2次肺门淋巴结核

69

a11

b

80(r1)正常

1

c19

d

20(r2)

70(c1)

30(c2)100（N）滨州医学院流行病学教研室诊疗试验的评价专家讲座第57页Kappa值判断标准

Kappa值一致性强度

1完全一致-1完全不一致0完全由机遇所致

0.4~0.75中度、高度一致

>0.75极好一致性

≤0.40一致性差滨州医学院流行病学教研室诊疗试验的评价专家讲座第58页三、诊疗试验实用性评价简单实用？快速用于临床？步骤、方法、仪器设备、试剂。注意事项？病人和患者接收？-伦理、创伤性成本:社会效益、经济效益、成本效益滨州医学院流行病学教研室诊疗试验的评价专家讲座第59页第三节

提升诊疗试验效率方法滨州医学院流行病学教研室诊疗试验的评价专家讲座第60页一、选择患病率高人群灵敏度与特异度不变，患病率与阳性预测值成正比滨州医学院流行病学教研室诊疗试验的评价专家讲座第61页二、联合试验

串联<Seriestest>：系列试验：A和B只有全部试验皆为阳性，才认为是阳性（有病）增加了特异度；但降低了灵敏度和增大了漏诊。滨州医学院流行病学教研室诊疗试验的评价专家讲座第62页串联试验适合用于：1、即使有几项试验方法，不过单项试验特异度不高2、慢性病，不一定需要快速作出诊疗，但需要增加正确性3、诊疗某冰某项试验危险昂贵，可先选择简单安全试验串联。串联试验灵敏度=A试验灵敏度×B试验灵敏度串联试验特异度=A试验特异度+B试验特异度×（1-A试验特异度）标准：先用特异度高试验再用灵敏度高试验，降低成本，提升效率。滨州医学院流行病学教研室诊疗试验的评价专家讲座第63页并联<Paranertest>：平行试验：A或B只要有一个试验为阳性，就判定为阳性（有病）提升了灵敏度，但特异度下降和增大了误诊。滨州医学院流行病学教研室诊疗试验的评价专家讲座第64页并联试验适合用于：1、疾病对人群影响很大，当前还未找到一个高灵敏试验有效确诊，但已经有几项现存不太灵敏试验2、对于住院或急症病人、复诊困难病人、医疗条件不足病人，急需做诊疗。并联试验灵敏度=A试验灵敏度+B试验灵敏度×（1-A试验灵敏度）并联试验特异度=A试验特异度×B试验特异度滨州医学院流行病学教研室诊疗试验的评价专家讲座第65页滨州医学院流行病学教研室诊疗试验的评价专家讲座第66页滨州医学院流行病学教研室诊疗试验的评价专家讲座第67页第四节

诊疗试验评价设计滨州医学院流行病学教研室诊疗试验的评价专家讲座第68页基本方法

确定金标准研究对象和选择和分组同时盲法测试研究对象并比较考虑样本含量和代表性滨州医学院流行病学教研室诊疗试验的评价专家讲座第69页一、确定金标准

金标准（Goldstandard）：是指当前医学界公认诊疗或排除某病最可靠诊疗方法。这种公认、可靠、准确诊疗方法，在诊疗试验中称之为。ThebestavailabletestthatisusedascomparisoniscalledtheGOLDSTANDARD

如病理检验(活检、尸检)、手术探查、病原体分离及抗体检测、特殊影象学检验等。有些疾病尚无特异性诊疗标准，则以教授制订、得到公认临床诊疗标准为依据