性能验证课件

1、性能验证,1,学习交流PPT,为何要做性能验证 何时做性能验证 性能验证的内容 性能验证的方案,主要内容,2,学习交流PPT,为何要做性能验证复现,验证性能指标是否符合厂家申明的性能 验证性能指标是否适用预期用途，即能否达到质量要求,3,学习交流PPT,为何要做性能验证符合、保证,4,学习交流PPT,何时要做性能验证,使用新的检测试剂和设备前。 设备的重大维修和校准后，比如检测部件。 设备搬迁到新的场所后或者长距离移动。 试剂配方出现调整后，比如试剂升级换代。 性能验证不能只做一次。,5,学习交流PPT,5.3.1 设备,6,学习交流PPT,5.3.2 试剂和耗材,微生物专业要求： 5.3.2

2、.3 试剂和耗材验收试验应符合如下要求： （a） 新批号及每一货次试剂和耗材使用前，应通过直接分析参考物质、新旧批号平行实验或常规质控等方法进行验证，并记录； （b） 新批号及每一货次试剂和耗材，如吲哚试剂，杆菌肽，奥普托辛，X、V、XV 因子纸片等应使用阴性和阳性质控物进行验证； （c） 新批号及每一货次的药敏试验纸片使用前应以标准菌株进行验证； （d） 新批号及每一货次的染色剂（革兰染色、特殊染色和荧光染色）应用已知阳性和阴性（适用时）的质控菌株进行验证； （e） 新批号及每一货次直接抗原检测试剂（无论是否含内质控）应用阴性和阳性外质控进行验证； （f） 培养基外观良好（平滑、水分适宜、无

3、污染、适当的颜色和厚度，试管培养基湿度适宜），新批号及每一货次的商品或自配培养基应检测相应的性能，包括无菌试验、生长试验或与旧批号平行试验、生长抑制试验（适用时）、生化反应（适用时）等，应以质控菌株进行验证； （g） 一次性定量接种环每批次应抽样验证。,7,学习交流PPT,5.5.1 检验程序的选择、验证和确认,8,学习交流PPT,5.5.1 检验程序的选择、验证和确认,9,学习交流PPT,应用准则对方法学性能的通用要求(1),检验程序需文件化； 实验室负责人或指定的人员应在开始即对程序评审并定期评审。评审通常每年一次。评审应文件化。 性能验证： 定量试验：正确度、精密度、可报告范围、（携带污

4、染率） 定性试验：阴性符合率、阳性符合率、重复性、最低检出限等 半定量试验：重复性 生物参考区间验证及评审：20份健康人标本，生物参考区间的评审还应该有临床医生的参与。评审内容：生物参考区间的来源、针对的人群、生物参考区间验证结果、与临床诊断的符合性等。 生物参考区间建立：120份健康人标本,10,学习交流PPT,应用准则对方法学性能的通用要求(2),通过与其他实验室（如已获认可的实验室、使用相同检测方法的实验室、使用配套系统的实验室）比对的方式确定检验结果的可接受性时，应满足如下要求： （a） 规定比对实验室的选择原则； （b） 样品数量：至少5份，包括正常和异常水平； （c） 频率：至少每

5、年2次； （d） 判定标准：应有80%的结果符合要求。 实验室内部结果比对应符合如下要求： 实验室用两套及以上检测系统检测同一项目时，应有比对数据表明其检测结果的一致性，实验方案可参考WS/T 407-2012医疗机构内定量检验结果的可比性验证指南，或比对频次每年至少1 次，样本数量不少于20，浓度水平应覆盖测量范围。,11,学习交流PPT,应用准则对方法学性能的专用要求,血细胞分析和尿液有形成分分析：建立复检规则，并验证，假阴性5%；(5.5.1.3) 出凝血检验项目，更换新批号试剂时，如试剂敏感度差异明显，应重新验证生物参考区间；试剂敏感度接近时，可使用5份健康人标本进行结果比对，以确认参

6、考区间的适用性。(5.5.2) 免疫定性试验：应按照制造商的说明或定义定期评审临界值或阈值(CUT OFF值)。(5.5.5) 如制造商无相关的说明或定义，可以选择以下方法之一验证： 阴性来源：选择没有疾病的健康人和非讨论疾病患者的病人的新鲜血清共120份，分3-5批3-5天进行检测，计算X、s，CUT OFF验证值为：X+3s； 阳性来源：选择弱阳性（CUT OFF 值20%）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，CUT OFF 值验证值为:X-3s。 应定期（至少每6个月1次，每次至少5份临床样品）进行形态学检验人员的结果比对、考核并记录；应定期进行仪器法间

7、白细胞分类计数正常标本的结果比对。,12,学习交流PPT,设备故障后的特别要求,设备发生故障后，应首先分析故障原因，如果设备故障可能影响了方法学性能。故障修复后，可通过以下合适的方式进行相关的检测、验证： （a）可校准的项目实施校准验证，必要时，实施校准； （b）质控物检测结果在允许范围内； （c）与其他仪器或方法比对； （d）以前检验过的样品再检验。 如果设备故障影响了方法学性能，在设备修复、校准后，实验室可通过检测质控菌株或已知结果的样品的方式进行性能验证。,13,学习交流PPT,性能验证的基本要求,操作者应熟悉仪器； 操作者应熟悉评价方案； 在评价实验过程中，设备应经严格校准或检定，所评

8、价方法或检测系统必须有室内质量控制； 所使用的标本应与临床标本有相似的基质，最好采用病人新鲜标本，避免基质效应； 所使用的标本应尽可能避免干扰物质（溶血、黄疸等）的存在； 所选择不同浓度的标本应尽量覆盖厂商声明的线性范围（线性、方法学比对时）并均匀分布； 当验证厂商声明的性能时，选择控制物的浓度水平应接近医学决定值及接近于厂商声明试验所具有的浓度。,14,学习交流PPT,现场评审内容,查阅体系文件（程序文件、SOP)：是否有对检验程序文件化；是否有方法学性能验证的实施步骤；有没有复检规则、有没有生物参考区间验证或评审的规定；有没有定期比对相关的规定；文件的描述是否与相关标准或法规相吻合等 查阅

9、性能验证报告：是否规范化；是否制定了合适的判断标准等；是否签字保存 查血涂片、尿涂片复检情况、是否按照复检规则进行复检 现场提问/演示 现场试验：留样再测、仪器比对、人员比对、图谱考核等,15,学习交流PPT,CLSI-EP文件,EP5-A2：Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline-Second Edition. EP6-A：Evaluation of linearity of quantitative analytical methods: A St

10、atistical Approach; Approved Guideline. EP7-A：Interference Testing in Clinical Chemistry; Approved Guideline. EP9-A2：Method comparison and bias estimation using patient samples; Approved Guideline-Second Edition. EP10-A: Preliminary evaluation of quantitative clinical laboratory methods. EP14-A2: Ev

11、aluation of matrix effects; Approved Guideline-Second Edition. EP15-A: User demonstration of performance for precision and accuracy; Approved Guideline. EP17-A: Protocols for determination of Limits of Detection and Limits of Quantitation; Approved Guideline. C28-A2: How to define and determine refe

12、rence intervals in the clinical laboratory.,16,学习交流PPT,临床检验行业标准,CNAS-CL07：2011测量不确定度的要求 CNAS-GL03：2006能力验证样品均匀性和稳定性评价指南 CNAS-GL06：2006化学分析中不确定度的评估指南 WS/T 228-2002 定量临床检验方法的初步评价 WS/T 246-2005 白细胞分类计数参考方法 WS/T 356-2011 基质效应与互通性评估指南 WS/T 402-2012 临床实验室检验项目参考区间的制定 WS/T 403-2012 临床生物化学检验常规项目分析质量指标 WS/T 4

13、07-2012 医疗机构内定量检验结果的可比性验证指南 WS/T 408-2012 临床化学设备线性评价指南 WS/T 409-2013 临床检验方法总分析误差的确定 WS/T 415-2013 无室间质量评价时实验室检测评估方法 WS/T 420-2013 临床实验室对商品定量试剂盒分析性能的验证 WS/T 492-2016 临床检验定量测定项目精密度与正确度性能验证,17,学习交流PPT,性能验证的内容,18,学习交流PPT,定量项目验证内容,精密度（Precision）验证（包括批内和总精密度） 正确度（Trueness）验证 分析测量范围（AMR）验证 临床可报告范围（CRR）验证 自

14、动稀释（Auto-dilution）验证 参考区间（Reference Interval）验证 空白限（LOB）验证 检出限（LOD）验证 定量检测限（LOQ）验证 污染携带（Carryover）验证 方法学比对（Method Comparison） 分析干扰（Interference）性能评价 测量不确定度（Measurement Uncertainty）评定,19,学习交流PPT,精密度,精密度（precision）的完整词语为测量精密度（precision of measurement），定义为：在规定条件下，相互独立的检测结果间的一致程度。G/T 6379。 精密度通常用与精密度相反的

15、检测不精密度统计量表示，如标准差（s）和变异系数（CV），精密度越低，s或者CV越大。,20,学习交流PPT,精密度验证（CLSI EP15-A2）,验证材料及要求：质控品、已经检测过的病人标本或具有血清基质的定值材料。每个项目均需选择低值和高值两个浓度水平（至少2个水平）的验证材料进行验证。所用样本一定要稳定；其基体组成应尽可能相似于实际检测的病人标本；样品中的分析物含量应在该项目的医学决定水平附近。 验证方案：对验证材料每天分析1批次，2个浓度，每个浓度重复测定3次，连续5天。 离群值剔除：单次测量数据超出总均值4SD。 数据统计分析与可接受标准： Within run SD 厂家声明or

16、1/4TEa Total run SD 厂家声明or1/3TEa,21,学习交流PPT,数据处理,22,学习交流PPT,正确度,测量正确度 measurement trueness 无穷多次重复测量所得量值的平均值与一个参考量值间的一致程度。 注1：测量正确度与测量系统误差有关，与随机测量误差无关。 注2：“测量正确度”不能用“测量准确度”表示，反之亦然。 注3：正确度通常用偏倚(bias)表示。注意与偏差的区别！,23,学习交流PPT,正确度验证,验证材料及要求：定值参考物质 A 新鲜冰冻人血清或其他一些未掺杂成分的人体物质 B 从能力对比试验中获得的参考物 C 厂家提供的正确度确认物或质控

17、物 D 实验室室间质评物 E 由第三方提供的已用一些不同方法定值的物质 验证方案：选择适合该方法最易获得的PT/EQA材料。最少要求测定2个水平，但更多水平适合于充分评价整个测量范围。选择的水平应能代表该方法的最低和最高测量范围。使用前充分混匀，重复测定2次。 数据统计分析与可接受标准：数据评估，用二之 一的总误差设定可接受范围上限和下限范围。,24,学习交流PPT,正确度的判断,25,学习交流PPT,2020/7/22,26,学习交流PPT,27,学习交流PPT,28,学习交流PPT,仪器比对（CA125例子）,根据回归方程计算医学决定水平处35 U/ml的偏移为-11.08%（1/2TEa

18、为12.5%），比对通过。,29,学习交流PPT,分析测量范围,分析测量范围（analytical measurement range，AMR）又称线性范围：使实验系统的最终分析结果为可接受的线性的浓度范围，此时非线性误差应低于允许误差。 （WS/T 420-2013. 临床实验室对商品定量试剂盒分析性能的验证） AMR 是对分析系统直接检测分析物浓度或活性范围能否覆盖生产商声明的确认。,30,学习交流PPT,L,H,0.8L+0.2H,1 2 3 4 5 6,0.6L+0.4H,0.4L+0.6H,0.2L+0.8H,分析测量范围,实验方法：收集厂商声明线性范围高限（H）和低限（L）附近的标

19、本，将H和L按照以下比例稀释：,每份标本重复检测3次，计算均值和每个理论浓度偏差。将得到的均值和预测值作直线回归统计，得到直线回归方程y=bx+a，计算相关系数r。,判断标准：实测均值与预测值偏差小于10%，相关系数r0.95，b值在0.97-1.03范围内，认为厂家声明线性范围得到验证；否则，线性范围不被验证。,31,学习交流PPT,使用EXCELL进行数据处理,不通过，需查找原因，重新验证。,32,学习交流PPT,分析测量范围EP6A，WS/T 408-2012,本实验选取待验证线性范围高限附近和低限附近的样本进行混合，至少配制5个浓度。如果高浓度混合血清与低浓度混合血清的被测量浓度未知，

20、可将每种混合血清编码，编码可代表每个血清相对浓度，具体见下图（以5个浓度为例）。,L,1L+3H,2L+2H,3L+1H,H,1 2 3 4 5,33,学习交流PPT,所有浓度样品应在一次运行中或几次间隔很短的运行中随机测定，每个浓度标本重复检测3次，所有标本检测应在2小时内完成，计算每个浓度均值 。 离群值剔除： 对于重复测定的数据组，采用格拉布斯（Grubbs）法进行离群值检验。,34,学习交流PPT,以水平1为例进行离群值检验,将水平1从小到大排序，计算均值和标准差,计算 t1和 t2,根据显著水平和重复测定次数查表，如果t值大于临界值则相应可疑值为离群值,35,学习交流PPT,三次回归

21、的标准误最小，所以三次回归曲线最适合本数据，对非线性系数b2、b3与0进行t检验，P0.05，验证的0.38-21.19范围是线性的。,y = b3 x3+ b2x2+ b1x+ a,进行多元回归分析（SPSS软件）,36,学习交流PPT,如果二次或者三次多项式b2、b3系数与0有统计学意义，即P0.05，需验证二次或者三次多项式与一次多项式预测值偏离，即系数非线性判断。,除去最低点，其余浓度非线性偏移可接受。,37,学习交流PPT,AMR & CRR,分析测量范围（AMR）：用没有作任何稀释、浓缩、或其他不属于常规检查步骤部分的预处理而直接测量样本的方法而得到的测试系统产生的结果范围，该结果

22、位于最低的定量界限和最高线性界限之间。也叫做“直接可报告范围”或“线性范围”或“动态范围”。 临床可报告范围：某种检测系统产生的结果范围在最低的定量界限和可计量结果的最高界限范围之间，包括样本的稀释或浓缩。临床可报告范围联同相关的稀释方案（稀释标准，稀释液，因子），必须在定量检测的标准操作规程（SOP）中指定。,38,学习交流PPT,临床可报告范围验证（CLSI EP15-A2/ EP17-A）,选择日常检测标本中接近分析测量范围上限（低于上限）的标本，可使用厂商推荐的稀释液，进行系列稀释或者浓缩。每个稀释浓度至少检测两次，计算均值。比较检测值和理论值，以R表示检测值与理论值的比值。 判断标准

23、：90%R110%为可接受限，超过可接收限的上一稀释或浓缩倍数为最大稀释或浓缩倍数。,实测值/预期值100%即为稀释回收率，最大稀释度得到验证。最大稀释度乘以AMR上限即为CRR的上限。,39,学习交流PPT,示例,40,学习交流PPT,Tips,生理盐水或水稀释有可能因基质差异影响到方法而使试验不准,41,学习交流PPT,参考区间,参考区间一般定义为中间95%区间，特定情况下，非对称定位的参考区间可能更适宜（肿瘤标志物）。 参考区间可能会取决于原始样品种类和所用检验程序。,42,学习交流PPT,参考区间验证（CLSI C28-A3c）,验证材料及要求：接收实验室在检验服务的总体中抽取20个参

24、考个体，比较小样本参考值和原始参考值之间的可比性。接收实验室的操作必须和原始参考值研究的分析前和分析中各因素的控制保持一致，20个参考个体应具有接收实验室健康人群的代表性，并满足排除和分组标准。 验证方案：检测按要求收集的20份参考个体样本。 数据统计分析与可接受标准：评估数据，超出待验证生物参考区间范围的个体数量小于等于1个，验证通过,43,学习交流PPT,44,学习交流PPT,定量检出限验证（CLSI EP17-A）,验证材料及要求：用厂家推荐的稀释液作为空白样本，并用此稀释液将已知浓度的低浓度样本（如低浓度定标液）稀释成近于厂家说明书检测低限的低浓度系列（5-10个浓度），作为分析灵敏度

25、的实验样本。将每份稀释好的样本分成20-50份，冰冻保存。 验证方案：系列稀释样本每天检测1次，推荐至少检测20天。 数据统计分析与可接受标准：评估数据，计算每个浓度样本的CV值，CV值Target CV（通常是20%）的最低浓度即为LOQ。 （一般作为临床可报告范围的低限）,45,学习交流PPT,携带交叉污染,验证材料及要求：对于一些较小样本携带即可造成污染的项目（共用样本针），实验室需要对样本的污染携带率进行评价。 验证方案：取高浓度样本（H）和低浓度样本（L）各一份，将高浓度样本分成10杯，低浓度样本分成11杯，21份样本按顺序：L1 L2 L3 H1 H2 L4 H3 H4 L5 L6

26、 L7 L8 H5 H6 L9 H7 H8 L10 H9 H10 L11连续测定。 数据统计分析与可接受标准：携带污染 = High-Low的均值Low-Low的均值，携带污染 3 倍Low-Low的SD则验证通过。,46,学习交流PPT,47,学习交流PPT,测量不确定度的评估,1、什么是测量不确定度？ 例：ALT的结果为12012 U/L（ k=2 ，k为包含因子） 或ALT的结果为120 U/L10%（k=2 ）符号后面的数量就是测量不确定度 12 U/L是绝对值，10%(U/L)是相对值 测量不确定度又简称为不确定度，符号u 不确定度定义:根据所用到的信息，表征赋予被测量量值分散性的非

27、负参数。,48,学习交流PPT,含包含因子与不含包含因子的不确定度有什么区别？ 含包含因子的不确定度称为扩展不确定度，以U 表示，在报告测量结果时以U 形式报告，同时说明k。如U =12 U/L (k=2) 不含包含因子的不确定度称为合成不确定度，以uc表示。 uc k =U, 如uc =6 U/L 测量不确定度的评估过程主要就是评定uc 可以k =2，也可以k =3 常规检验中一般k =2，代表测量结果95%的可信限,49,学习交流PPT,常规检验中不确定度分量 不确定度评估方法：“自下而上” 与“自上而下” 不精密度分量与偏移（偏倚）分量 不精密度（imprecision）可用标准差（s）

28、或变异系数（CV）表示 偏移（bias）的不确定度分量通过特定方法求得,50,学习交流PPT,51,学习交流PPT,假设偏移的不确定度为0,52,学习交流PPT,精密度来源 AACB推荐6个月 可用“标准差（sRw）”或“变异系数（CVRw）”表示不精密度的量。 根据定义，可直接用标准差表示不精密度的不确定度分量 uimp= sRw 或%uimp= CVRw,（1）6个月内使用同一质控品 直接计算sRw 或CVRw （2）6个月内使用了二个批号质控品 计算CVRw平方和的根,53,学习交流PPT,偏移的来源 （1）计算偏移（正确度验证） 与参考物质（CRM）比较 与参考测量程序（参考方法，RM

29、P）比较 与室间质量评价（EQA/PT）的靶值(target)比较 （2）计算参考物质（或参考方法）的不确定度 （3）计算参考物质（或参考方法）（在常规实验室）的不精密度 （4）计算偏移的不确定度,54,学习交流PPT,55,学习交流PPT,定性项目及其他验证内容：,Cutoff值 检测限 分析特异性 符合率 诊断敏感性 诊断特异性 人员比对 室间比对,56,学习交流PPT,2017最新检验行业标准,WS/T 494-2017 临床定性免疫检验重要常规项目分析质量要求,WS/T 505-2017 定性测定性能评价指南,57,学习交流PPT,应按照制造商的说明或定义定期评审cut-off值。如制

30、造商无相关的说明或定义，可以选择以下方法之一验证：,1、阴性来源：选择60份健康人新鲜血清和60份目标标志物阴性而有其他免疫标志物阳性的患者新鲜血清，共120份，分3-5批3-5天进行检测，计算X、s，cut-off验证值为：X+3s； 2、阳性来源：选择弱阳性（cut-off值20%，应均匀分布）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，cut-off值验证值为：X-3s。,Cutoff值验证,58,学习交流PPT,检出限值的验证,59,学习交流PPT,诊断特异性和灵敏度,60,学习交流PPT,阴阳性符合率,如果没有可用的诊断标准，那么需提供待评价试剂与某一已验证方法进行比较的结果，在这种情况下，则不能够计算敏感性和特异性，而是计算阳性符合率和阴性符合率。这种计算反映的并非方法的准确度，而是待评价试剂和已验证方法的一致性程度。,总符合率=(a+d)/(a+b+c+d)100% 阳性符合率= a/(a+c) 100% 阴性符合率= d/(b