定性测定的性能验证课件

定性测定的性能验证李金明卫生部临床检验中心2023/7/281临床定性检验的报告方式有反应、无反应、阳性、阴性是、不是（或有、没有）2023/7/282“性能验证”？ISO15189实验室认可的要求？（任务？）实验室检测临床应用的必需？2023/7/283高速列车性能验证空气动力学速度车体转向架运行固定、悬挂的零部件强度稳定性舒适感故障率……2023/7/284定性测定系统/试剂性能验证特异性敏感性测定下限重复性（包括CUT－OFF值的重复性）准确性抗干扰能力2023/7/285性能验证的合格标准从何而来？试剂盒说明书国际和／或国际标准2023/7/2862023/7/2872023/7/2882023/7/2892023/7/28102023/7/28112023/7/28122023/7/28132023/7/28142023/7/28152023/7/28162023/7/28172023/7/28182023/7/2819什么时候进行性能验证使用新的检测试剂或系统时更换检测试剂或系统时2023/7/2820临床实验室为什么更新检测试剂或系统？新的试剂或系统更易于操作更高的检测性能更经济更能满足实验室测定要求2023/7/2821性能验证前的准备应熟悉待验证的试剂或系统进行必要的培训，包括样本的处理和储存、试剂的处理和储存、合理的检测方案、对结果合理的解释以及系统的质量控制等。制定质量保证计划确定患者样本的数量及强弱（评价重复性）确定比较的方法CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2822编制性能验证的SOP2023/7/2823定义筛查试验：临床上，筛查方法通常用于检测整个人群（或者人群中的特定部分）中特定指标的情况。例如对样本做粪便隐血检测或者性病研究实验室（VDRL）梅毒血清学试验。一般来说，这些用于筛查的定性试验必须具有高敏感性以确保真阳性结果的检出。因此通常筛查试验比诊断试验或确认试验会产生更多的假阳性结果。如果筛查试验的假阳性结果所造成的社会及经济后果不是非常严重，这种低特异性可通过特异性较好的确认试验加以弥补。

尽管阳性筛查试验结果需要确认试验来进一步证实，但是这依然要优于假阴性筛查试验结果的出现。因为假阴性结果会造成更严重的后果，例如疾病通过已感染的血液传播或者延误了对于可治愈的严重疾病的治疗。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2824定义诊断试验：通常用于临床怀疑某种特定疾病或状况是否存在的诊断性定性试验。例如各种微生物培养就是用于检查感染情况的诊断试验。因临床上对治疗的及时的要求，诊断试验应具有很好的敏感性和特异性。如果诊断试验后还进行确认试验，那么诊断试验的特异性要求可以稍微降低。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2825定义确认试验：确认试验用于验证筛查试验或者诊断试验结果。如果确诊试验证实了之前的检测结果，临床医生即可作出诊断。确认试验通过设计使其具有较高的特异性（有时甚至以牺牲敏感性为代价）以及高阳性预测值。螺旋体抗体荧光吸附（FTA-ABS）梅毒血清学试验就是一种用于VDRL梅毒血清学试验等筛查试验之后的确认试验。2023/7/2826定义临床敏感性：在患有明确临床疾病的患者中，其检测结果呈阳性或者超过正常值范围的比率（即出现阳性结果和确定患者患病）；注：该临床疾病必须由不依赖于被评价试验的标准确定。临床特异性：在没有特定临床疾病的患者中，其检测结果呈阴性或者在正常值范围内的比率。2023/7/2827定义阳性测定能力指数（DI（＋））：可定义为一实验对阳性标本测定后给出阳性结果的能力（通常称为“敏感性”）；DI（＋）=[真阳性/（真阳性+假阴性）]×100%阴性测定能力指数（DI（－））：则为对阴性样本测定给出阴性结果的能力（通常称为“特异性”）；DI（－）=[真阴性/（真阴性+假阳性）]×100%2023/7/2828定义阳性结果的可靠性（‘预示值’）：即测定为阳性的标本实际上为阳性的可能性。

=[真阳性/（真阳性+假阳性）]×100%阴性结果的可靠性:则为一份给出阴性结果的样本实际上为阴性的可靠性。

=[真阴性/（真阴性+假阴性）]×100%2023/7/2829“预示值”对临床检验结果影响预示值对一个有95%敏感性和95%特异性的试剂检测结果的影响（100,000人）

结果10%感染率1%感染率

检出(+)未检出(－)

检出(+)未检出(－)+9,50050095050

－4,50085,5004,95094,050敏感性(TP/[TP+FN])95%95%特异性(TN/[TN+FP])95%95%阳性预示值TP/[TP+FP]9500/[9500+4500]=67.9%950/[950+4950]=16%阳性预示值TN/[TN+FN]85500/[85500+500]=99.4%94050/[94050+50]=99.9%2023/7/2830样本的准备质控品：使用商品化质控物进行，包括阴性和阳性。样本的采集和保存：采集时间、保存方式等必须保证一致性。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2831重复性验证CUT-OFF的重复性（同时包含测定下限的验证）批内变异的验证批间变异的验证2023/7/2832重复性验证的质量控制质控品：如方法学比较在10天内完成，则每一批次都要对每份质控样本进行检测，共提供20次重复检测结果。如果方法比较研究超过20天，则每一批次都要对每份对照样本进行单次检测，总计也提供20次重复结果。如出现失控，则当次检测结果无效。在当天或第二天安排新批次的检测以替换不合格的批次。实验室要分析失控的原因。不合格批次在10天内不应超过1次或20天内不超过两次。如若超出，所在实验室应中止检测工作并咨询试剂制造商以确定原因并采取纠正措施。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2833重复性验证：样本浓度CUT-OFF重复性验证：样本浓度应接近临界值。不宜用阴性或强阳性样本。批内和批间变异验证：高、中和低三个浓度（与试剂盒说明书中所述相适应）2023/7/2834CUT-OFF重复性和测定下限验证2023/7/2835临界点的定义同样一份样本，在多次重复实验中各有50%的几率获得阳性或阴性的结果时该分析物的浓度。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2836临界点（CUT-OFF)与试剂盒阳性反应判断值（CUT-OFF值）的区别这里的临界点指的是一个处于试剂检测临界点的样本浓度，其一旦确定，是不变的。试剂盒CUT-OFF值指的是一个判断某一次测定结果的由阴性和阳性对照信号值按一定公式计算出来的信号值，每次测定都会有所差异。2023/7/2837如何获得系统或试剂的“临界点”检测试剂或系统的说明书可能会注明分析物的临界浓度。如果临界浓度未知，则可以将阳性样本进行一系列稀释，然后将他们进行重复检测以确定能够获得50%阳性和50%阴性结果的那个稀释度。这一稀释度的分析物浓度即为临界点。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2838临界点（CUT-OFF）的(精密度）重复性指的是什么？是为正在评价的检测试剂或系统建立分析物的临界浓度(C50)，并且确保临界浓度±20%的范围处于95%区间内(C95)。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/28392023/7/2840不精密度曲线2023/7/2841两种不同方法的不精密度曲线比较2023/7/2842验证步骤制备足够40次重复检测的3份样本：分别为处于临界浓度、高于临界浓度20%和低于临界浓度20%的样本。重复检测样本40次，确定每一份样本结果为阳性和阴性的百分比。评价临界浓度是否准确？评价+20至-20%的浓度范围是否包含于、位于或者超出这种方法的95%区间？CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2843C50是否准确？40次测试C501阳性结果=<13/40(32.5%)不正确>=27/40(67.5%)2阳性结果（14-26）/40（35%-65%）正确2023/7/2844阳性结果重复性检测总次数次数百分比真正百分比样本的实际浓度201050%30%-70%C30-C70402050%35%-65%1005050%40%-60%不同C50重复检测次数与检出阳性数的关系2023/7/2845候选方法的-20%～+20%浓度范围是否包含了C5-C95区间？1+20%阳性结果=<35/40(87.5%)-20%～+20%浓度范围在C5-C95区间之内用该方法检测浓度超过C50+20%的样本检测结果不一致-20%阴性结果=<35/40(87.5%)2+20%阳性结果>=36/40(90%)-20%～+20%浓度范围包含了C5-C95区间用该方法检测，C50+20%的样本检测结果一致-20%阴性结果>=36/40(90%)3+20%阳性结果>=36/40(90%)-20%～+20%浓度范围只是部分地在C5-C95区间内。（+20%包含了C5-C95区间，但-20%浓度的样本在C5-C95区间内。）用该方法检测，C50+20%的样本检测结果一致。浓度-20%的样本用该方法却不一定能得到一致结果。-20%阴性结果=<35/40(87.5%)4+20%阳性结果=<35/40(87.5%)-20%～+20%浓度范围只是部分在C5-C95区间内。（+20%在C5-C95区间内，但-20%包含了C5-C95区间。）用该方法检测，C50-20%的样本检测结果一致。-20%阴性结果>=36/40(90%)2023/7/2846批内重复性的验证高、中、低三个浓度的样本，在一批检测内，重复检测20次（孔），计算所得S/CO值的均值和SD，计算批内CV%。判断结论：应≤试剂说明书所标明的批内变异。ELISA的批内变异CV%应≤10%。2023/7/2847批间重复性的验证高、中、低三个浓度的样本，在10天以上时间内单次（孔或管）重复进行20批检测，计算所得S/CO值的均值和SD，计算批间CV%。判断结论：应≤试剂说明书所标明的批间变异。ELISA的批间变异CV%应≤15%。2023/7/2848测定下限的验证处于测定下限浓度（如临界点浓度+20%）的样本，重复检测20次，应至少有18次以上为阳性反应。2023/7/2849特异性验证特定病原体以外感染性疾病患者的样本。含有干扰性物质的样本：类风湿因子（RF）阳性、含异嗜性抗体、溶血、脂血、高胆红素样本。结果判断：非特定病原体感染患者样本均应为阴性。含一定浓度干扰物质的样本检测应为阴性。2023/7/2850准确性验证：方法比较另一种定性方法（如使用者目前正在使用的方法）“金标准”方法某种定量方法或临床诊断。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2851准确性验证用样本的要求量要足够大注意在一次获得多组样本时可能存在的偏差稳定两种方法同时进行检测CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2852方法比较用样本数量取决于评价者的目的。作为最低要求，检测要持续到至少用比较方法获得50个阳性样本。并且至少用比较方法获得50例阴性样本以确定此种检测方法的特异性。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2853方法比较持续时间10~20天。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2854数据收集的检查每次实验，应立即记录所有原始检测数据并复核，以早期发现分析系统及人为误差的来源。一旦发现某些结果是由可解释的误差引起的，则应将其记录下来，同时，这些结果不能用于数据分析。如不能确定误差产生的原因，则保留原始结果。2023/7/2855不一致结果的处理如果比较方法不是100%准确，可以用“金标准”“参考方法”来检测在检测和比较方法间产生差异的样本。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2856参考血清盘曾经被检测过的、或者被成熟方法检测的，或临床诊断中有意义的临床样本对于评价定性方法来说很有价值。阳性样本浓度高低不等，具有代表性。可占整个血清盘样本数的50%。阴性样本可含有干扰物质。可占整个血清盘样本数的50%。CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2857方法学比较的结果计算比较用方法结果阳性阴性总数待评价方法结果阳性

A

B

A

+

B阴性

C

D

C+D总数A+CB+DA+B+C+D敏感性=[A/（A+C）]×100%特异性=[D/（D+B）]×100%符合率=[（A+D）/（A+B+C+D）]]×100%CLSI

EP12-A2

UserProtocolforEvaluationofQualitativeTestPerformance;Approved

Guideline2023/7/2858准确性验证的其他方面与临床的“对话”。这也是一个新的试剂或方法或系统替代旧的试剂或方法或系统成功应用于临床的前提。2023/7/2859定性测定手工操