第四章检验项目的临床效能评价

1、第四章检验项目的临床效能评价 第四章 检验项目的临床效能评价第一节 检验项目临床效能评价内容和意义第二节 检验项目临床效能评价的研究设计第三节 检验项目临床效能评价方法第四节 提高检验项目效率的方法 对一个检验项目特别是新引进的检验项目在临床应用时，除方法对一个检验项目特别是新引进的检验项目在临床应用时，除方法学的评价外，还需从临床应用价值进行评价，即对该检验项目在临床学的评价外，还需从临床应用价值进行评价，即对该检验项目在临床诊断和治疗决策中能起多大的作用进行评价。诊断和治疗决策中能起多大的作用进行评价。 当准备在本单位开展此检验项目时，尚需进行适用性评价，即此当准备在本单位开展此检验项目时

2、，尚需进行适用性评价，即此项试验是否适用于本单位及有无条件或有无必要开展此项目检查。项试验是否适用于本单位及有无条件或有无必要开展此项目检查。第一节 检验项目临床效能评价内容和意义第一节第一节 检验项目临床效能评价的内容和意义检验项目临床效能评价的内容和意义一、检验项目临床效能评价的意义一、检验项目临床效能评价的意义二、检验项目临床应用证据评价原则二、检验项目临床应用证据评价原则一、检验项目临床效能评价的意义一、检验项目临床效能评价的意义 方法学评价是了解检验项目其技术性能，保证方方法学评价是了解检验项目其技术性能，保证方法准确可靠法准确可靠 必须了解该项目的临床应用效能必须了解该项目的临床应

3、用效能 了解其对疾病的诊断和治疗的影响和价值了解其对疾病的诊断和治疗的影响和价值 选择合理、可靠、有效的临床检验项目选择合理、可靠、有效的临床检验项目 正确判断检验结果对于某疾病诊断的贡献大小，正确判断检验结果对于某疾病诊断的贡献大小，从而确定和执行合理的医疗决策从而确定和执行合理的医疗决策 返回节目录 二、检验项目临床应用证据评价原则二、检验项目临床应用证据评价原则 任何一个检验项目用于临床之前都必须经过科学任何一个检验项目用于临床之前都必须经过科学的评价的评价 方法学评价及临床应用价值评价两个方面方法学评价及临床应用价值评价两个方面 遵循循证医学遵循循证医学( (evidence-base

4、d medicine，EBM) )原则原则 循证医学的原则在检验医学中的应用，产生了循循证医学的原则在检验医学中的应用，产生了循证检验医学证检验医学( (evidence-based laboratory medicint,EBLM) )二、检验项目临床应用证据评价原则二、检验项目临床应用证据评价原则 循证检验医学就是在大量可靠的临床应用资料和循证检验医学就是在大量可靠的临床应用资料和经验的基础上经验的基础上, ,研究检验项目的临床应用价值研究检验项目的临床应用价值 为临床诊断、疗效观察、病情转归提供最有效、为临床诊断、疗效观察、病情转归提供最有效、最实用、最经济的检验项目及最合理的组合最实用

5、、最经济的检验项目及最合理的组合（一）真实性的评价（一）真实性的评价1 1被评价的试验和标准诊断法进行盲法对比研究被评价的试验和标准诊断法进行盲法对比研究 标准诊断法是指对某疾病诊断最可靠的方法，标准诊断法是指对某疾病诊断最可靠的方法，通常又称通常又称“金标准金标准” 只有用标准诊断法才能正确的诊断患者是否患只有用标准诊断法才能正确的诊断患者是否患有某病或不患有某病，也只有这样，才能正确有某病或不患有某病，也只有这样，才能正确评价某一试验的临床价值评价某一试验的临床价值（一）真实性的评价（一）真实性的评价1 1被评价试验和标准诊断法进行盲法对比研究被评价试验和标准诊断法进行盲法对比研究 “金标

6、准金标准”通常指的是病原学检查、细胞学检查、通常指的是病原学检查、细胞学检查、活体组织检查、尸检、特殊影像检查、长期随访活体组织检查、尸检、特殊影像检查、长期随访结果、临床专家共同制定被公认的最新诊断标准结果、临床专家共同制定被公认的最新诊断标准 检验方法，即使是公认的参考方法，在临床应用检验方法，即使是公认的参考方法，在临床应用评价时，不要简单看作为评价时，不要简单看作为“金标准金标准”，务必注意，务必注意 与标准诊断法进行比对，为避免产生的偏倚，必与标准诊断法进行比对，为避免产生的偏倚，必须采用盲法须采用盲法（一）真实性的评价（一）真实性的评价2研究对象的选择恰当首先是病例组，必须明确诊断

7、，各型病例 早期、中期、晚期病例 治疗前、治疗后的病例 典型及不典型病例如选择偏倚，必然产生不正确的结论，如肿瘤标志物的检测，仅选用住院晚期患者，诊断敏感度必定估计偏高（一）真实性的评价（一）真实性的评价2 2研究对象的选择恰当研究对象的选择恰当 对照组一定要选经标准诊断法诊断为无该病患者对照组一定要选经标准诊断法诊断为无该病患者 选择健康人作对照组，特异度的估计必然偏高选择健康人作对照组，特异度的估计必然偏高 应选择无目标疾病病例，尤其选与目标疾病易病例应选择无目标疾病病例，尤其选与目标疾病易病例 同时性别、年龄应与病例组相近同时性别、年龄应与病例组相近 这样对该试验的评价才比较客观这样对该

8、试验的评价才比较客观 按统计学要求，病例组、对照组样本量应按统计学要求，病例组、对照组样本量应3030例以上例以上（一）真实性的评价（一）真实性的评价3参考区间的确定恰当 参考区间如是作者自己确定的，则要考察其正常人群的选择、样本数量的确定、测定方法的可靠性、数据处理等方面是否正确 如是应用文献资料，则应考虑是否适合本地区，有无进行验证4验证 某试验应用于另一组病例具有相同真实性 实际上就是考察其复现性 即对原评价进行验证的问题（一）真实性的评价（二）临床应用意义的评价（二）临床应用意义的评价有敏感度、特异度或阳性似然比的计算或提供了运算的数据 敏感度、特异度是临床应用评价两个基本指标阳性似然

9、比指的是真阳性与假阳性的比值该试验阳性时患该病与不患该病概率的比值，是敏感度、特异度的综合指标注意：统计学上判断不能代替临床应用意义评价2分层似然比的计算 由于不同测定值，其敏感度、特异度是不同 做ROC曲线时，必定要做分层统计（二）临床应用意义的评价（三）适用性的评价（三）适用性的评价 适用性的评价包括：适用性的评价包括： 该试验可否推广应用该试验可否推广应用 患者的验前概率能否合理估算患者的验前概率能否合理估算 验后概率是否对患者处理有帮助验后概率是否对患者处理有帮助 （三）适用性的评价（三）适用性的评价 返回章目录 仪器设备、试剂的费用多少、来源、操作难度及效率、效益、效能、不良反应、对

10、患者的危险性、患者的依从性首先要评价该项目是否有利于疾病的诊断、治疗和预防策略，得到最佳的健康服务的结果其次考虑经济效益。若某检验项目虽然技术和诊断性能好，具有好的临床效能，但所需费用昂贵而患者难于接受，也降低了其实用性第二节第二节 检验项目临床效能评价研究设计检验项目临床效能评价研究设计一、确定研究目标一、确定研究目标二、样本的总体和抽样计划二、样本的总体和抽样计划三、金标准和评价指标三、金标准和评价指标四、估算样本量和避免偏倚四、估算样本量和避免偏倚评价的项目评价的项目观察内容观察内容 该研究的临床实际意义该研究的临床实际意义这是一个新项目、新应用成熟的项目这是一个新项目、新应用成熟的项目

11、 还是已应用成熟的项目还是已应用成熟的项目已有类似的或可以与之竞争的项目已有类似的或可以与之竞争的项目一、确定研究目标 返回节目录 二、样本的总体和抽样计划二、样本的总体和抽样计划研究的样本总体要考虑患者的分布特征人口统计学、症状体征、合并症以及疾病的阶段、程度、部位等应包含不同临床机构或地理位置的患者二、样本的总体和抽样计划二、样本的总体和抽样计划 用于评价的受试对象包括两组用于评价的受试对象包括两组 即被金标准证实的患者作为病例组即被金标准证实的患者作为病例组 金标准证实为未患该病的人作为对照组金标准证实为未患该病的人作为对照组 对照组可以是健康者或其他疾病的患者对照组可以是健康者或其他疾

12、病的患者抽样时需要考虑不同的研究阶段抽样时需要考虑不同的研究阶段1. 1. 探索研究阶段探索研究阶段 对每个患者采用回顾性抽样，其真实疾对每个患者采用回顾性抽样，其真实疾病从试验记录和疾病登记资料得到病从试验记录和疾病登记资料得到2. 2. 挑战研究阶段挑战研究阶段 仔细考虑目标患者总体特征频谱，重点考仔细考虑目标患者总体特征频谱，重点考虑目标患者病理学、临床表现、合并症虑目标患者病理学、临床表现、合并症3. 3. 临床研究阶段临床研究阶段 患者样本必须真实代表样本总体患者样本必须真实代表样本总体二、样本的总体和抽样计划 返回节目录 三、金标准和评价指标三、金标准和评价指标金标准(gold s

13、tandard)是指被公认的诊断疾病的最可靠的方法，病理诊断常常被作为肿瘤诊断的金标准金标准能正确地区分受试者患病与否，若金标准选择不妥，可能会造成错误分类，影响对该临床检验项目的正确评价三、金标准和评价指标三、金标准和评价指标 灵敏度和特异度是最基本的准确度指标灵敏度和特异度是最基本的准确度指标 还有综合指标：准确度、尤登指数、似然比还有综合指标：准确度、尤登指数、似然比 考虑了患病率的预测值考虑了患病率的预测值 直观明确的受试者工作特征曲线直观明确的受试者工作特征曲线 返回节目录 四、估算样本量和避免偏倚四、估算样本量和避免偏倚 新检验项目是否具有临床意义，必须与金标准的诊断作对比 每个检

14、验项目的敏感度及特异度均是稳定的指标 按照估计总体率样本含量估算方法，计算病例组样本含量n1，对照组样本含量n2, 为容许误差 四、估算样本量和避免偏倚四、估算样本量和避免偏倚 通过选择可靠的金标准通过选择可靠的金标准 严格地选择研究对象严格地选择研究对象 以盲法同步用被评价检验项目测试研究对象以盲法同步用被评价检验项目测试研究对象 以避免信息偏倚以避免信息偏倚 同时应注意统计学的正确使用同时应注意统计学的正确使用 返回章目录 第三节第三节 检验项目临床效能评价方法检验项目临床效能评价方法一、敏感度和特异度一、敏感度和特异度二、预测值和似然比二、预测值和似然比三、三、ROC曲线分析曲线分析四、

15、临床应用评价指标的综合分析四、临床应用评价指标的综合分析 第三节第三节 检验项目临床效能评价方法检验项目临床效能评价方法检验项目临床效能评价指标：敏感度特异度预测值(含阳性预测值及阴性预测值)诊断指数诊断效率(含阳性似然比及阴性似然比) 四格表的应用四格表的应用 金标准金标准 有病有病 无病无病 合计合计诊断性诊断性 阳性阳性 真阳性（真阳性（a） 假阳性（假阳性（b） a+b 试验试验 阴性阴性 假阴性（假阴性（c） 真阴性（真阴性（d） c+d 合计合计 a+c b+d a+b+c+d一、敏感度和特异度1四格表的应用2 2评价指标的计算评价指标的计算敏感度敏感度(sensitivity，S

16、EN)=a(a+c)特异度特异度(specificity，SPE)=d(b+d)阳性预测值阳性预测值=a(a+b)阴性预测值阴性预测值=d(c+d)诊断指数诊断指数=敏感度敏感度+特异度特异度诊断效率诊断效率(准确度准确度)=(a+d)(a+b+c+d)100%阳性似然比阳性似然比=敏感度敏感度/(1特异度特异度)阴性似然比阴性似然比=(1敏感度敏感度)特异度特异度一、敏感度和特异度一、敏感度和特异度一、敏感度和特异度2 2评价指标的计算评价指标的计算 敏感度又称真阳性率敏感度又称真阳性率( (true positive rate，TPR) ) 是诊断试验能将实际有病的人正确地判为患者是诊断试

17、验能将实际有病的人正确地判为患者的能力，即患者被判为阳性的概率的能力，即患者被判为阳性的概率 反映检出患者的能力，该值越大，漏诊病例反映检出患者的能力，该值越大，漏诊病例( (漏诊率漏诊率) )越少越少一、敏感度和特异度一、敏感度和特异度2 2评价指标的计算评价指标的计算 特异度又称真阴性率特异度又称真阴性率(true negative rate，TNR) 在金标准诊断为在金标准诊断为“无病无病”的例数中，某检验项的例数中，某检验项目结果为阴性的比例，真阴性例数越多，则特目结果为阴性的比例，真阴性例数越多，则特异度越高，误诊病例异度越高，误诊病例(误诊率误诊率)越少越少一、敏感度和特异度一、敏

18、感度和特异度2评价指标的计算评价指标的计算 敏感度与特异度是评价一项检验项目真实性的两敏感度与特异度是评价一项检验项目真实性的两个基本指标个基本指标 从理论上讲，一项理想的检验项目其灵敏度、特从理论上讲，一项理想的检验项目其灵敏度、特异度最好均为异度最好均为100 即假阳性与假阴性均为零，无一漏诊与误诊即假阳性与假阴性均为零，无一漏诊与误诊 实际上灵敏度和特异度是矛盾的统一体，随着诊实际上灵敏度和特异度是矛盾的统一体，随着诊断分界点的变化而变化断分界点的变化而变化 病例组 诊断界点 对照组 漏诊率() 误诊率() 特异度 （1-） 灵敏度 （1-） 图4-1灵敏度与特异度的关系 测定值 D 正

19、常人正常人 患者患者 频数 D FN FP 测定值 正常人正常人 患者患者 频数 TN TP 3诊断分界当健康分布与患者分布没有重叠,取中间一点(D点)分界值假阳性和假阴性均为O。这是一种理想模式，目前没有这样检验项目，许多检验项目健康人与患者结果分布有交叉一、敏感度和特异度图4-2 理想的检验项目健康群体与患者群体分布图4-3 实际的检验项目健康群体与患者群体分布一、敏感度和特异度一、敏感度和特异度 分界值的高低直接影响检验项目诊断性试验评价分界值的高低直接影响检验项目诊断性试验评价指标指标 在这种情况下，一般是先初步确定几个分界值在这种情况下，一般是先初步确定几个分界值 分别计算真阳性、真

20、阴性、假阳性、假阴性数值分别计算真阳性、真阴性、假阳性、假阴性数值 进一步计算诊断灵敏度、诊断特异度等指标进一步计算诊断灵敏度、诊断特异度等指标 最后根据早期诊断、疗效观察、流行病学调查等最后根据早期诊断、疗效观察、流行病学调查等各种不同目的确定分界值各种不同目的确定分界值一、敏感度和特异度一、敏感度和特异度4 4尤登指数尤登指数 尤登指数尤登指数(Youden(Youdens index)s index)又称正确指数又称正确指数 是指灵敏度和特异度之和减去是指灵敏度和特异度之和减去1 1 是综合评价真实性的指标，理想的试验应为是综合评价真实性的指标，理想的试验应为l l 计算公式为：计算公式

21、为： 尤登指数尤登指数=(=(灵敏度灵敏度+ +特异度特异度) )1 1 返回节目录 二、预测值和似然比二、预测值和似然比1 1似然比似然比(LR)(LR) 表达的是患某种疾病患者所测定不同结果范表达的是患某种疾病患者所测定不同结果范围中围中 患该病与不患该病的比值患该病与不患该病的比值 只有阳性、阴性结果时，一般分阳性似然比只有阳性、阴性结果时，一般分阳性似然比及阴性似然比两种及阴性似然比两种二、预测值和似然比二、预测值和似然比1 1似然比似然比(LR)(LR) 阳性似然比阳性似然比(+LR):真阳性率真阳性率(TPR)与假阳性率与假阳性率(FPR)的比值的比值 当就诊者的该诊断性试验结果为

22、阳性时，其患病当就诊者的该诊断性试验结果为阳性时，其患病与不患病的机会比与不患病的机会比,显然阳性似然比的值越高显然阳性似然比的值越高 检验结果阳性时，诊断为某病的概率越大，该检检验结果阳性时，诊断为某病的概率越大，该检测方法确诊疾病的能力就越强。测方法确诊疾病的能力就越强。阳性似然比阳性似然比= =真阳性率真阳性率/ /假阳性率假阳性率= =灵敏度灵敏度/ /（1-1-特异度）特异度）二、预测值和似然比二、预测值和似然比1 1似然比似然比(LR)(LR)阴性似然比阴性似然比(-LR) :(-LR) :假阴性率假阴性率(FNR)(FNR)与真阴性率与真阴性率(TNR)(TNR)的比值的比值当某

23、就诊者的该诊断性试验结果为阴性时，其患病与不患病的机会当某就诊者的该诊断性试验结果为阴性时，其患病与不患病的机会比。比。显然阴性似然比越小，则检验结果阴性时，患某病的概率越小，显然阴性似然比越小，则检验结果阴性时，患某病的概率越小，该检测方法排除疾病的能力就越好该检测方法排除疾病的能力就越好阴性似然比=假阴性率/真阴性率=（1-灵敏度）/特异度 二、预测值和似然比二、预测值和似然比2.2.预测值预测值(predictive value(predictive value，PV)PV) 是表示试验能做出正确判断的概率，又分为：是表示试验能做出正确判断的概率，又分为： 阳性预测值阳性预测值(posi

24、tive predictive value,PPV)(positive predictive value,PPV)阴性预测值阴性预测值(negative predictive value,NPV)(negative predictive value,NPV)阳性预测值阳性预测值 是指真阳性人数是指真阳性人数 占试验结果阳性人数百分比，占试验结果阳性人数百分比， 表示试验结果阳性者属于真病例概率表示试验结果阳性者属于真病例概率阴性预测值 是指真阴性人数 占试验结果阴性人数的百分比， 表示试验结果阴性者属于非病例的概率二、预测值和似然比2.预测值(PV)试验的灵敏度愈高，阳性预测值就越高；试验的灵

25、敏度愈高，阳性预测值就越高； 特异度越高的试验，阴性预测值就越好。特异度越高的试验，阴性预测值就越好。检验项目的灵敏度和特异度并不能完全决定检验的阳性预测值。与人群某病的患病率有关。2.预测值(PV)二、预测值和似然比 返回节目录 三、三、ROCROC曲线分析曲线分析ROC是受试者工作特征曲线(receiver operating characteristic curve, ROC)又称相对工作特性曲线原来是雷达屏幕上通过飞行物的回响来判断飞行物的一种方法做临界值的判断及不同试验临床价值的比较三、三、ROCROC曲线分析曲线分析 首先要将测定结果分层首先要将测定结果分层 计算其敏感度及特异度计

26、算其敏感度及特异度 然后以真阳性率然后以真阳性率( (敏感度敏感度) )为纵坐标，假阳性为纵坐标，假阳性率率(1(1特异度特异度) )为横坐标，将各层结果绘图，为横坐标，将各层结果绘图，连接各点使成曲线连接各点使成曲线 其中离左上角最近的一点，即其临界值其中离左上角最近的一点，即其临界值图4-4 ROC曲线图三、ROC曲线分析ROC曲线图还可比较两种诊断试验临床价值。其原则是曲线下曲线图还可比较两种诊断试验临床价值。其原则是曲线下覆盖面积越大临床价值越大。甲法比乙法临床价值要大覆盖面积越大临床价值越大。甲法比乙法临床价值要大三、ROC曲线分析图4-5 ROC比较示意图 ROCROC曲线的临床应

27、用曲线的临床应用(1)选择最佳分界值：取选择最佳分界值：取ROC曲线上的拐点作为分界值将会得曲线上的拐点作为分界值将会得到最大的准确性，但是必须结合似然比、尤登指数以及筛查到最大的准确性，但是必须结合似然比、尤登指数以及筛查和确诊等试验目的综合确定和确诊等试验目的综合确定 (2)诊断效率分析：利用曲线下的面积来评价不同检验项目或不诊断效率分析：利用曲线下的面积来评价不同检验项目或不同检测方法对某种疾病的诊断价值同检测方法对某种疾病的诊断价值 (3)对检验结果的评价：灵敏度和特异度随着诊断分界点的升高对检验结果的评价：灵敏度和特异度随着诊断分界点的升高或降低而变化或降低而变化三、ROC曲线分析临

28、床检验中若有多个独立的同类检验项目结果临床检验中若有多个独立的同类检验项目结果合并成合并成sROCsROC曲线曲线(summary ROC curve,sROC)(summary ROC curve,sROC)该法与该法与MetaMeta分析方法的原理相同分析方法的原理相同Meta分析的目的是对多个同类独立研究的结果进行汇总和合并分析，以达到增大样本含量，提高检验效能的目的当多个研究结果不一致或都无统计学意义时，用Meta分析可得到更加接近真实情况的统计分析结果三、ROC曲线分析 返回节目录 四、临床应用评价指标综合分析四、临床应用评价指标综合分析 特异度、灵敏度，两个最重要的指标 其他评价指

29、标都可用它们来推导 缺少这两个指标，该检验项目无法进行评价 在撰写和评价论文，在引进或评价一项新检验项目，这两个指标必须具备可供分析的资料阳性及阴性预测值指导临床诊断时比灵敏度、特异度更直观、更容易理解的指标，应用广泛当患者的检验结果为阳性时，必须参考该检验项目的阳性预测值，结果为阴性时必须参考其阴性预测值在实验设计中，疾病组与对照组的样本组成有所变化时，可以影响到预测值的大小，造成误解四、临床应用评价指标综合分析准确性、尤登指数及诊断效率是综合灵敏度、特异度计算的以往认为这些指标对评价一个检验项目有很好，实际上是很有限如甲、乙两个试验灵敏度分别为80、95，而特异度分别为95、80，上述指标

30、结果是相同或相近的尤登指数=(0.8+0.95)-1=0.75，但这两个试验临床应用价值是不同的，甲试验可能在确诊时更有价值，乙试验用于筛查更好四、临床应用评价指标综合分析 似然比 表达的是在某一检验项目的某个数值范围内患有或不患有某种疾病的概率似然比是将灵敏度及特异度较好结合起来的指标。阳性似然比数值越大，当试验结果阳性时，诊断某病可能性越大阴性似然比数值越小，当试验正常时，患某病可能性越小四、临床应用评价指标综合分析 四、临床应用评价指标综合分析四、临床应用评价指标综合分析 返回章目录 ROC分析方法目前公认的评价准确度的标准方法在循证医学、临床试验、临床检验、统计模型好坏的判别等方面具有

31、十分重要的应用价值第四节第四节 提高检验项目效率的方法提高检验项目效率的方法一、选择患病率高的人群一、选择患病率高的人群二、采用联合试验的方法二、采用联合试验的方法检验项目的灵敏度与特异度是相对固定的人群患病率水平对一项检验项目阳性预测值的影响却很大如果将一项检验项目用于患病率低的人群，则阳性预测值较低若将其用于高危人群，则可明显提高阳性预测值一、选择患病率高的人群 返回节目录 二、采用联合试验的方法二、采用联合试验的方法1 1并联试验并联试验(parallel test) (parallel test) 又称平行试验又称平行试验 只要一种试验是阳性即判断只要一种试验是阳性即判断“异常异常”，并联试验，并联试验提高了敏感度，降低了特异度提高了敏感度，降低了特异度并联试验敏感度并联试验敏感度= =敏感度敏感度甲甲+(1+(1敏感度敏感度甲甲) )敏感度敏感度乙乙并联试验特异度并联试验特异度= =特异度特异度甲甲特异度特异度乙乙二、采用联合