诊断试验的评价与ROC分析课件

临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应一、诊断试验的研究设计随机临床试验避免偏倚的技巧随机对照重复盲法临床试验避免偏倚的技巧随机临床试验资料的数据集

分析应包括在知情同意的基础上，愿意参加试验的所有随机化后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。按此原则所作的分析是最好的分析，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。

意向性分析（Intentiontotreat）全分析集（fullanalysisset，FAS）安全性评价（safetyset）临床试验资料的数据集分析应包括在知情同意的基础上临床有效性的统计学评价临床有效性的统计学评价为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学的重要内容根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学金标准的选择最为可靠的诊断标准！

金标准的选择最为可靠的诊断标准！二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率阳性预测值的应用阳性预测值的应用诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率三、预测指标：阳性预测值、阴性预测值四、诊断试验的综合评价指标：正确率、Youden指数、比数积、阳性似然比、阴性似然比诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异诊断试验中常用的评价指标例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（八）阴性预报值。诊断试验中常用的评价指标例13.2表13.2例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果诊断试验的评价与ROC分析课件灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果医生最关心的问题：

1.试验阳性时患病的概率多大？

2.试验阴性时不患病的概率多大？3.如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理医生最关心的问题：

1.试验阳性时患病的概率多大？例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果阳性预报值与阴性预报值阳性预报值与阴性预报值五、截断点的选择与ROC曲线五、截断点的选择与ROC曲线在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度ROC【receiver(relative)operatingcharacteristic的缩写，译为“接受者工作特征”】ROC曲线研究历史1950’s雷达信号观测能力评价1960’s中期实验心理学、心理物理学1970’s末与1980’s初诊断医学ROC的涵义与起源ROC【receiver(relative)op诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分

2.诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价……ROC曲线评价诊断试验的重要性诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计

灵敏度,特异度,假阴性率,假阳性率Testvariable灵敏度,特异度,假阴性率,假阳性率Testvariabl医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。诊断试验的评价与ROC分析课件不同诊断界值时

灵敏度与特异度间的平衡(tradeoff)0204060801005060708090100特异度灵敏度百分率（％）Testvariable不同诊断界值时

灵敏度与特异度间的平衡(tradeoff)完美与无用的ROC曲线真阳性率即灵敏度假阳性率即1－特异度机率线(chanceline)

(diagonalreferenceline)完美与无用的ROC曲线真阳性率假阳性率即1－特异度诊断准确度较低（<0.7）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830诊断准确度较高（>0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲线下面积（Area）与诊断准确度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)诊断准确度较低（<0.7）0.00.20.40.60.81.似然比（LR）在ROC曲线空间的涵义白细胞计数诊断白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0似然比（LR）在ROC曲线空间的涵义白细胞计数诊断白血病LR基本概念小结ROC曲线反映了灵敏度与特异度间的平衡(增加灵敏度将降低特异度；增加特异度将降低灵敏度)。在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihoodratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。ROC曲线下面积是重要的试验准确度指标。基本概念小结ROC曲线反映了灵敏度与特异度间的平衡(增加灵主要任务：计算ROC曲线工作点（Coordinatepoint或Operatingpoint）（FPR,TPR）连接相邻两点一、ROC曲线工作点的计算与曲线绘制主要任务：一、ROC曲线工作点的计算与曲线绘制连续型数据的

ROC曲线工作点（TPR，FPR）计算

将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表13－3假想的连续型数据连续型数据的

ROC曲线工作点（TPR，FPR）计算诊断试验的评价与ROC分析课件有序分类数据的

ROC曲线工作点（TPR，FPR）计算

将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。有序分类数据的

ROC曲线工作点（TPR，FPR）计算22二、ROC曲线下面积的计算ROC曲线下面积(Area)部分ROC曲线下的面积FPR为某值对应的TPR值二、ROC曲线下面积的计算ROC曲线下面积(Area)(一)

Hanley和McNeil非参数法

ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率Mann-WhitneyU统计量(一)Hanley和McNeil非参数法Hanley和McNeil法ROC曲线下面积

与Mann-WhitneyU

检验

由秩和检验中的Mann-WhitneyU统计量（SPSS等软件均可计算）可计算ROC曲线下面积零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-WhitneyU检验SPSS输出的ROC面积检验P值即为上述Z值对应的概率Hanley和McNeil法ROC曲线下面积

与MannHanley和McNeil法ROC曲线下面积

与梯形规则（trapezoidalrule）

Hanley和McNeil法ROC曲线下面积等于所有曲线下梯形（包括最左侧的三角形）面积之和Hanley和McNeil法ROC曲线下面积

与梯形规则（二）其他ROC曲线下面积计算方法1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法)（二）其他ROC曲线下面积计算方法1.双正态法三、ROC曲线下面积的假设检验三、ROC曲线下面积的假设检验单个连续型资料（实例1）单个有序分类资料（实例2）两个相关连续型资料（实例3）两个相关有序分类资料（实例4）二、ROC分析的数据类型Testvariables单个连续型资料（实例1）二、ROC分析的数据类型Testv实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下：StateVariableTestVariable实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者实例1：MCV诊断缺铁性贫血图4

连续性资料的两组频率分布0.30.20.100.10.20.3556065707580859095100105组段上限值异常组频率实例1：MCV诊断缺铁性贫血图4连续性资料的两组频率分布实例1的SPSS输入格式StateVariable

＝骨髓诊断TestVariable

＝MCV结果0＝正常组

1＝异常组ValueofStateVariable：1实例1的SPSS输入格式StateVariableTestSPSS的GraphsROCCurve界面如果试验测量值越小患病的可能性越大时应改变默认的

Options…SPSS的GraphsROCCurve界面如果试验测量值SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果MCV诊断缺铁性贫血的ROC曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线工作点MCV诊断缺铁性贫血的ROC曲线0.00.20.40.60.实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为1、2、3、4、5五类。StateVariableTestVariableFrequencyVariable实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常实例2：放射医生影像分类图6

单个有序分类资料的两组频率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分类异常组频率实例2：放射医生影像分类图6单个有序分类资料的两组频率分实例2的SPSS输入格式StateVariable＝组别TestVariable

＝诊断分类0＝正常组

1＝异常组ValueofStateVariable：1实例2的SPSS输入格式StateVariable＝SPSS的GraphsROCCurve界面如果试验测量值越小患病的可能性越大时应改变默认的

Options…在调用Graphs前，必须先用DataWeightCases…by…:频数SPSS的GraphsROCCurve界面如果试验测量值图7放射医生影像分类的ROC曲线0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR双正态机率线工作点图7放射医生影像分类的ROC曲线0.00.20.40.60诊断实验的正确应用1.以金标准为对照的基础2.盲法原则3.研究对象选择要具有代表性4.对试验对象要有清楚的说明5.应说明诊断试验的实用性6.需要进行试验的方法要有应用前景诊断实验的正确应用1.以金标准为对照的基础以金标准为对照的基础

金标准疾病诊断的准确标准肿瘤的病理诊断高血压病人的血压糖尿病人的血糖对于目前没有诊断金标准的疾病，需要采用传统上认为最为准确的方法作为对照，甚至需要采用不能常规使用的一些能够准确诊断出疾病的方法来进行对比。以金标准为对照的基础

金标准盲法原则

双盲原则单盲原则盲法原则

研究对象选择要具有代表性

选用样本应该和将来诊断方法使用的目标人群一致。研究对象选择要具有代表性

选用样本应该和将来诊断方法对试验对象要有清楚的说明

在研究设计阶段，考虑所试验的方法将来使用的目标人群，达到准确检验方法的诊断效果的目标，需要准确地制定研究的纳入和排除标准。比如纳入的病人是否有年龄、性别限制比如纳入的病人是否能够有其它疾病作为健康组病人应该如何选择所选择的人群应该和将来方法应用的目标人群尽量一致。对试验对象要有清楚的说明

在研究设计阶段，考虑所试验的应说明诊断试验的实用性

主要是与现有金标准相比的优势诊断的灵敏度诊断的特异度方法的成本方法的可接受程度应说明诊断试验的实用性

主要是与现有金标准相比的优势需要进行试验的方法要有应用前景

医生患者医疗费用提供者需要进行试验的方法要有应用前景

医生诊断试验的串联诊断试验的并联诊断试验的串联Datasample13_5;Dogroup=1,0;Dotest_val=1to5;Inputfreq;Output;end;end;Cards;32211333366112;Proc

logisticdescending;Modelgroup=test_val/Scale=noneoutroc=roc1;Freqfreq;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_5';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;Datasample13_5;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_5ResponseVariablegroupNumberofResponseLevels2FrequencyVariablefreqModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead10NumberofObservationsUsed10SumofFrequenciesRead109SumofFrequenciesUsed109ResponseProfileOrderedTotalValuegroupFrequency

1151

2058Probabilitymodeledisgroup=1.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC152.65694.735SC155.348100.117-2LogL150.65690.735

TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio59.92171<.0001Score51.61001<.0001Wald34.10601<.0001ROCCurvesample13_316:47Tuesday,November13,201913TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.91370.751027.1547<.0001test_val11.14260.195734.1060<.0001OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val3.1352.1364.600AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant84.1Somers'D0.786PercentDiscordant5.4Gamma0.878PercentTied10.5Tau-a0.395Pairs2958c0.893

ROCCurvesample13_516:47Tuesday,November13,201914Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_

10.8580733562180.647060.03448

20.6585344451370.862750.22414

30.3808746391950.901960.32759

40.1640448332530.941180.43103

50.058915105801.000001.00000ROCCurvesample13_5诊断试验的评价与ROC分析课件Datasample13_3;Inputgroup$num;Doi=1tonum;Inputtest_val;Output;End;Cards;Case516.513.512.811.25.0Control48.56.44.61.7;Proc

logisticdata=sample13_3;Modelgroup=test_val/scale=noneoutroc=roc1;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_3';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;Datasample13_3;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_3ResponseVariablegroupNumberofResponseLevels2ModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead9NumberofObservationsUsed9ResponseProfileOrderedTotalValuegroupFrequency1Case52Control4Probabilitymodeledisgroup='Case'.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC14.36510.905SC14.56311.299-2LogL12.3656.905

TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio5.460710.0194Score4.415610.0356Wald2.693710.1007TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.89122.53422.35770.1247test_val10.49510.30162.69370.1007OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val1.6410.9082.963AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant90.0Somers'D0.800PercentDiscordant10.0Gamma0.800PercentTied0.0Tau-a0.444Pairs20c0.900

ROCCurvesample13_316:47Tuesday,November13,201917Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_

10.9863114040.20.00

20.9422424030.40.00

30.9202334020.60.00

40.8393544010.80.00

50.5785343110.80.25

60.3267642210.80.50

70.1953052201.00.50

80.1660451301.00.75

90.0452350401.01.00ROCCurvesample13_3诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件1.001.000.001.001.000.750.251.251.000.500.501.500.800.500.501.300.800.250.751.550.800.001.001.800.600.001.001.600.400.001.001.400.200.001.001.200.000.001.001.001.001.000.001.001.000.750.251.重点1.临床试验的类型和主要特点是什么？2.临床试验中避免偏倚的技巧主要是什么？3.诊断试验中常用的指标有哪些？4.诊断试验中常用的综合性评价指标有哪些？5.什么是阴性预测值和阳性预测值？6.什么是ROC曲线，有什么用途？7.诊断试验的正确应用需要注意哪些事项？重点1.临床试验的类型和主要特点是什么？诊断试验的评价与ROC分析课件诊断试验的评价与ROC分析课件临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性临床试验的类型I期临床试验：人体药物的耐受程度，药物在人体中一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应一、诊断试验的研究设计随机临床试验避免偏倚的技巧随机对照重复盲法临床试验避免偏倚的技巧随机临床试验资料的数据集

分析应包括在知情同意的基础上，愿意参加试验的所有随机化后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。按此原则所作的分析是最好的分析，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。

意向性分析（Intentiontotreat）全分析集（fullanalysisset，FAS）安全性评价（safetyset）临床试验资料的数据集分析应包括在知情同意的基础上临床有效性的统计学评价临床有效性的统计学评价为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学的重要内容根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）为什么要学习诊断试验的评价选择最科学合理的诊断方法，循证医学金标准的选择最为可靠的诊断标准！

金标准的选择最为可靠的诊断标准！二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率阳性预测值的应用阳性预测值的应用诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率三、预测指标：阳性预测值、阴性预测值四、诊断试验的综合评价指标：正确率、Youden指数、比数积、阳性似然比、阴性似然比诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异诊断试验中常用的评价指标例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（八）阴性预报值。诊断试验中常用的评价指标例13.2表13.2例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果诊断试验的评价与ROC分析课件灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果医生最关心的问题：

1.试验阳性时患病的概率多大？

2.试验阴性时不患病的概率多大？3.如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理医生最关心的问题：

1.试验阳性时患病的概率多大？例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果例13.2表13.2ECG诊断试验的结果ECG诊断结果心肌梗塞合计出现不出现阳性阴性合计416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG诊断试验的结果阳性预报值与阴性预报值阳性预报值与阴性预报值五、截断点的选择与ROC曲线五、截断点的选择与ROC曲线在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度ROC【receiver(relative)operatingcharacteristic的缩写，译为“接受者工作特征”】ROC曲线研究历史1950’s雷达信号观测能力评价1960’s中期实验心理学、心理物理学1970’s末与1980’s初诊断医学ROC的涵义与起源ROC【receiver(relative)op诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分

2.诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价……ROC曲线评价诊断试验的重要性诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计

灵敏度,特异度,假阴性率,假阳性率Testvariable灵敏度,特异度,假阴性率,假阳性率Testvariabl医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。诊断试验的评价与ROC分析课件不同诊断界值时

灵敏度与特异度间的平衡(tradeoff)0204060801005060708090100特异度灵敏度百分率（％）Testvariable不同诊断界值时

灵敏度与特异度间的平衡(tradeoff)完美与无用的ROC曲线真阳性率即灵敏度假阳性率即1－特异度机率线(chanceline)

(diagonalreferenceline)完美与无用的ROC曲线真阳性率假阳性率即1－特异度诊断准确度较低（<0.7）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830诊断准确度较高（>0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲线下面积（Area）与诊断准确度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)诊断准确度较低（<0.7）0.00.20.40.60.81.似然比（LR）在ROC曲线空间的涵义白细胞计数诊断白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0似然比（LR）在ROC曲线空间的涵义白细胞计数诊断白血病LR基本概念小结ROC曲线反映了灵敏度与特异度间的平衡(增加灵敏度将降低特异度；增加特异度将降低灵敏度)。在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihoodratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。ROC曲线下面积是重要的试验准确度指标。基本概念小结ROC曲线反映了灵敏度与特异度间的平衡(增加灵主要任务：计算ROC曲线工作点（Coordinatepoint或Operatingpoint）（FPR,TPR）连接相邻两点一、ROC曲线工作点的计算与曲线绘制主要任务：一、ROC曲线工作点的计算与曲线绘制连续型数据的

ROC曲线工作点（TPR，FPR）计算

将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表13－3假想的连续型数据连续型数据的

ROC曲线工作点（TPR，FPR）计算诊断试验的评价与ROC分析课件有序分类数据的

ROC曲线工作点（TPR，FPR）计算

将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。有序分类数据的

ROC曲线工作点（TPR，FPR）计算22二、ROC曲线下面积的计算ROC曲线下面积(Area)部分ROC曲线下的面积FPR为某值对应的TPR值二、ROC曲线下面积的计算ROC曲线下面积(Area)(一)

Hanley和McNeil非参数法

ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率Mann-WhitneyU统计量(一)Hanley和McNeil非参数法Hanley和McNeil法ROC曲线下面积

与Mann-WhitneyU

检验

由秩和检验中的Mann-WhitneyU统计量（SPSS等软件均可计算）可计算ROC曲线下面积零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-WhitneyU检验SPSS输出的ROC面积检验P值即为上述Z值对应的概率Hanley和McNeil法ROC曲线下面积

与MannHanley和McNeil法ROC曲线下面积

与梯形规则（trapezoidalrule）

Hanley和McNeil法ROC曲线下面积等于所有曲线下梯形（包括最左侧的三角形）面积之和Hanley和McNeil法ROC曲线下面积

与梯形规则（二）其他ROC曲线下面积计算方法1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法)（二）其他ROC曲线下面积计算方法1.双正态法三、ROC曲线下面积的假设检验三、ROC曲线下面积的假设检验单个连续型资料（实例1）单个有序分类资料（实例2）两个相关连续型资料（实例3）两个相关有序分类资料（实例4）二、ROC分析的数据类型Testvariables单个连续型资料（实例1）二、ROC分析的数据类型Testv实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，