诊断试验的评价与ROC分析

临床诊断实验与评价临床实验的类型I期临床实验：人体药物的耐受程度，药物在人体中的代谢情况。参与实验的人员是安康人或病人〔20左右〕II期临床实验：药效、平安性的初步评价。患者参与实验〔200例以上〕III期临床实验：药效与平安性确实认阶段，我国法规要求实验组人数300以上，总人数400-500人IV期临床实验：上市后的临床研讨。更大范围运用后的疗效与平安性一、诊断实验的研讨设计随机对照反复伦理盲法实验设计中的要素一、处置要素二、受试对象三、实验效应临床实验防止偏倚的技巧随机对照反复盲法临床实验资料的数据集分析应包括在知情赞同的根底上，情愿参与实验的一切随机化后的受试者，也即原方案益处置〔治疗〕的受试者都需进入分析，而不是根据实践上完成的受试者。按此原那么所作的分析是最好的分析，研讨在病人知情赞同的前提下，应该思索参与者的依从性，制定合理的纳入排除规范，要求每一个随机分到实验组或对照组的受试者都应该尽量完好地随访，记录研讨结果如疗效、平安性评价目的以及脱离缘由。同时，要思索参与者和不情愿参与者的差别，以及给研讨结果带来的偏倚。

意向性分析〔Intentiontotreat〕全分析集〔fullanalysisset，FAS〕平安性评价〔safetyset〕临床有效性的统计学评价为什么要学习诊断实验的评价选择最科学合理的诊断方法，循证医学的重要内容根据实践需求，提供具有优势的诊断实验〔试剂、药物、方法〕金规范的选择最为可靠的诊断规范！

二、诊断实验的评价目的诊断实验的灵敏度和特异度不会遭到患病率的影响，但是预测值目的会遭到患病率高低的影响。阳性预测值的运用诊断实验的评价目的二、诊断实验中常用的评价目的：灵敏度、特异度、误诊率、漏诊率三、预测目的：阳性预测值、阴性预测值四、诊断实验的综合评价目的：正确率、Youden指数、比数积、阳性似然比、阴性似然比诊断实验中常用的评价目的例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用目的有〔一〕正确百分率、〔二〕灵敏度、〔三〕特异度、〔四〕Youden指数、〔五〕阳性似然比、〔六〕阴性似然比、〔七〕阳性预告值、〔八〕阴性预告值。例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)灵敏度与特异度的优缺陷优点：灵敏度与特异度不受患病率的影响，其取值范围均在〔0,1〕之间，其值越接近于1，阐明其诊断准确性越好。缺陷：当比较两个诊断实验时，单独运用灵敏度或特异度，能够出现矛盾。处理方法：将两目的结合：Youden指数、阳性似然比、阴性似然比等例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)医生最关怀的问题：

1.实验阳性时患病的概率多大？

2.实验阴性时不患病的概率多大？3.如何选择适宜的诊断界值，做出合理的诊断，使患者获得最好的处置例13.2表13.2ECG诊断实验的结果例13.2表13.2ECG诊断实验的结果例13.2表13.2ECG诊断实验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)阳性预告值与阴性预告值五、截断点的选择与ROC曲线在进展诊断临界点选择的时候，需求综合思索灵敏度和特异度，选择最正确诊断界值。ROC曲线提供了很好的临界点选择工具。ROC【receiver(relative)operatingcharacteristic的缩写，译为“接受者任务特征〞】ROC曲线研讨历史1950’s雷达信号观测才干评价1960’s中期实验心思学、心思物理学1970’s末与1980’s初诊断医学ROC的涵义与来源诊断实验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分2.诊断实验评价方法可用于：临床实验评价临床检验评价流行病学筛查实验评价实验室检验评价统计学模型评价……ROC曲线评价诊断实验的重要性灵敏度,特异度,假阴性率,假阳性率Testvariable医学诊断实验多数不能将病例和对照完全分开，而只需将二者100%的分开时，才可以获得100%正确的诊断。不同诊断界值时

灵敏度与特异度间的平衡(tradeoff)0204060801005060708090100特异度灵敏度百分率〔％〕Testvariable完美与无用的ROC曲线真阳性率即灵敏度假阳性率即1－特异度机率线(chanceline)

(diagonalreferenceline)诊断准确度较低〔<0.7〕0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830诊断准确度较高〔>0.9〕0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲线下面积〔Area〕与诊断准确度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)似然比〔LR〕在ROC曲线空间的涵义白细胞计数诊断白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0根本概念小结ROC曲线反映了灵敏度与特异度间的平衡(添加灵敏度将降低特异度；添加特异度将降低灵敏度)。在ROC曲线空间，假设曲线沿着左边线，然后沿着上边线越严密，那么实验准确度越高。在ROC曲线空间，假设曲线沿着时机线〔45度对角线〕越严密，那么实验准确度越低。在诊断界值〔cutpoint〕处的正切线的斜率就是该实验值对应的阳性似然比〔likelihoodratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方挪动，LR+逐渐减小。ROC曲线下面积是重要的实验准确度目的。主要义务：计算ROC曲线任务点〔Coordinatepoint或Operatingpoint〕〔FPR,TPR〕衔接相邻两点一、ROC曲线任务点的计算与曲线绘制延续型数据的

ROC曲线任务点〔TPR，FPR〕计算将这9个数据从大到小陈列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表13－3假想的延续型数据有序分类数据的

ROC曲线任务点〔TPR，FPR〕计算将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的任务点见下表。2二、ROC曲线下面积的计算ROC曲线下面积(Area)部分ROC曲线下的面积FPR为某值对应的TPR值(一)Hanley和McNeil非参数法

ROC曲线下面积(Az)就是异常组察看值大于正常组察看值的概率Mann-WhitneyU统计量Hanley和McNeil法ROC曲线下面积

与Mann-WhitneyU检验

由秩和检验中的Mann-WhitneyU统计量〔SPSS等软件均可计算〕可计算ROC曲线下面积零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-WhitneyU检验SPSS输出的ROC面积检验P值即为上述Z值对应的概率Hanley和McNeil法ROC曲线下面积

与梯形规那么〔trapezoidalrule〕

Hanley和McNeil法ROC曲线下面积等于一切曲线下梯形〔包括最左侧的三角形〕面积之和〔二〕其他ROC曲线下面积计算方法1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法)三、ROC曲线下面积的假设检验单个延续型资料〔实例1〕单个有序分类资料〔实例2〕两个相关延续型资料〔实例3〕两个相关有序分类资料〔实例4〕二、ROC分析的数据类型Testvariables实例1：采用骨髓诊断作为金规范，对100例缺铁性贫血疑似患者进展确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了调查红细胞平均容积〔MCV〕诊断缺铁性贫血的效果，测得每一个体的MCV值如下：StateVariableTestVariable实例1：MCV诊断缺铁性贫血图4延续性资料的两组频率分布0.30.20.100.10.20.3556065707580859095100105组段上限值异常组频率实例1的SPSS输入格式StateVariable＝骨髓诊断TestVariable

＝MCV结果0＝正常组

1＝异常组ValueofStateVariable：1SPSS的GraphsROCCurve界面假设实验丈量值越小患病的能够性越大时应改动默许的

Options…SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果MCV诊断缺铁性贫血的ROC曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线任务点实例2：某放射医生将知实践分类的影像，按一定正常、能够正常、疑似异常、能够异常、一定异常，分别分为1、2、3、4、5五类。StateVariableTestVariableFrequencyVariable实例2：放射医生影像分类图6单个有序分类资料的两组频率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分类异常组频率实例2的SPSS输入格式StateVariable＝组别TestVariable

＝诊断分类0＝正常组

1＝异常组ValueofStateVariable：1SPSS的GraphsROCCurve界面假设实验丈量值越小患病的能够性越大时应改动默许的

Options…在调用Graphs前，必需先用DataWeightCases…by…:频数图7放射医生影像分类的ROC曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线任务点诊断实验的正确运用1.以金规范为对照的根底2.盲法原那么3.研讨对象选择要具有代表性4.对实验对象要有清楚的阐明5.应阐明诊断实验的适用性6.需求进展实验的方法要有运用前景以金规范为对照的根底

金规范疾病诊断的准确规范肿瘤的病理诊断高血压病人的血压糖尿病人的血糖对于目前没有诊断金规范的疾病，需求采用传统上以为最为准确的方法作为对照，甚至需求采用不能常规运用的一些可以准确诊断出疾病的方法来进展对比。盲法原那么

双盲原那么单盲原那么研讨对象选择要具有代表性

选用样本应该和未来诊断方法运用的目的人群一致。对实验对象要有清楚的阐明

在研讨设计阶段，思索所实验的方法未来运用的目的人群，到达准确检验方法的诊断效果的目的，需求准确地制定研讨的纳入和排除规范。比如纳入的病人能否有年龄、性别限制比如纳入的病人能否可以有其它疾病作为安康组病人应该如何选择所选择的人群应该和未来方法运用的目的人群尽量一致。应阐明诊断实验的适用性

主要是与现有金规范相比的优势诊断的灵敏度诊断的特异度方法的本钱方法的可接受程度需求进展实验的方法要有运用前景

医生患者医疗费用提供者诊断实验的串联诊断实验的并联Datasample13_5;Dogroup=1,0;Dotest_val=1to5;Inputfreq@@;Output;end;end;Cards;32211333366112;Proclogisticdescending;Modelgroup=test_val/Scale=noneoutroc=roc1;Freqfreq;symbol1i=joinv=nonec=blue;procgplotdata=roc1;title'ROCCurvesample13_5';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Procprint;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_5ResponseVariablegroupNumberofResponseLevels2FrequencyVariablefreqModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead10NumberofObservationsUsed10SumofFrequenciesRead109SumofFrequenciesUsed109ResponseProfileOrderedTotalValuegroupFrequency11512058Probabilitymodeledisgroup=1.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC152.65694.735SC155.348100.117-2LogL150.65690.735TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio59.92171<.0001Score51.61001<.0001Wald34.10601<.0001ROCCurvesample13_316:47Tuesday,November13,202113TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.90.751027.1547<.0001test_val11.14260.195734.1060<.0001OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val3.2.4.600AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant84.1Somers'D0.786PercentDiscordant5.4Gamma0.878PercentTied10.5Tau-a0.395Pairs2958c0.893ROCCurvesample13_516:47Tuesday,November13,202114Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_10.8580733562180.647060.0344820.6585344451370.862750.2241430.3808746391950.901960.3275940.1640448332530.941180.4310350.058915105801.000001.00000Datasample13_3;Inputgroup$num;Doi=1tonum;Inputtest_val@@;Output;End;Cards;Case516.513.512.811.25.0Control48.56.44.61.7;Proclogisticdata=sample13_3;Modelgroup=test_val/scale=noneoutroc=roc1;symbol1i=joinv=nonec=blue;procgplotdata=roc1;title'ROCCurvesample13_3';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Procprint;Run;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_3ResponseVariablegroupNumberofResponseLevels2ModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead9NumberofObservationsUsed9ResponseProfileOrderedTotalValuegroupFrequency1Case52Control4Probabilitymodeledisgroup='Case'.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC14.36510.905SC14.56311.299-2LogL12.3656.905TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio5.460710.0194Score4.415610.0356Wald2.693710.1007TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.89122.53422.35770.1247test_val10.49510.30162.69370.1007OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val1.6410.9082.963AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant90.0Somers'D0.800PercentDiscordant10.0Gamma0.800PercentTied0.0Tau-a0.444Pairs20c