性能验证课件

性能验证2为何要做性能验证何时做性能验证性能验证的内容性能验证的方案

主要内容3为何要做性能验证——复现验证性能指标是否符合厂家申明的性能验证性能指标是否适用预期用途，即能否达到质量要求为何要做性能验证——符合、保证4《医学实验室质量和能力认可准则》ISO15189美国临床实验室改进修正法规CLIA’88美国临床和实验室标准化协会CLSI何时要做性能验证5使用新的检测试剂和设备前。设备的重大维修和校准后，比如检测部件。设备搬迁到新的场所后或者长距离移动。试剂配方出现调整后，比如试剂升级换代。性能验证不能只做一次。5.3.1设备6条款号内容5.3.1.2实验室应在设备安装和使用前验证其能够达到必要的性能，并符合相关检验的要求5.3.1.5当发现设备故障时，应停止使用并清晰标识。实验室应确保故障设备已经修复并验证，表明其满足规定的可接受标准后方可使用。实验室应检查设备故障对之前检验的影响，并采取应急措施或纠正措施。当设备脱离实验室的直接控制时，实验室应保证在其返回实验室使用之前验证其性能。设备故障修复后，应首先分析故障原因，如果设备故障影响了分析性能，应通过以下合适的方式进行相关的检测、验证：（a）可校准的项目实施校准验证，必要时，实施校准；（b）质控物检测结果在允许范围内；（c）与其他仪器的检测结果比较；（d）使用留样再测结果进行判断。5.3.1.7应保存影响检验性能的每台设备的记录，包括但不限于以下内容：j)确认设备可持续使用的性能记录；5.3.2试剂和耗材7条款号内容5.3.2.3试剂和耗材-验收试验每当试剂盒的试剂组分或试验过程改变，或使用新批号或新货运号的试剂盒之前，应进行性能验证。影响检验质量的耗材应在使用前进行性能验证。5.3.2.7试剂和耗材-记录应保存影响检验性能的每一试剂和耗材的记录，包括但不限于以下内容：h)证实试剂或耗材持续可使用的性能记录。微生物专业要求：5.3.2.3试剂和耗材验收试验应符合如下要求：（a）新批号及每一货次试剂和耗材使用前，应通过直接分析参考物质、新旧批号平行实验或常规质控等方法进行验证，并记录；（b）新批号及每一货次试剂和耗材，如吲哚试剂，杆菌肽，奥普托辛，X、V、XV因子纸片等应使用阴性和阳性质控物进行验证；（c）新批号及每一货次的药敏试验纸片使用前应以标准菌株进行验证；（d）新批号及每一货次的染色剂（革兰染色、特殊染色和荧光染色）应用已知阳性和阴性（适用时）的质控菌株进行验证；（e）新批号及每一货次直接抗原检测试剂（无论是否含内质控）应用阴性和阳性外质控进行验证；（f）培养基外观良好（平滑、水分适宜、无污染、适当的颜色和厚度，试管培养基湿度适宜），新批号及每一货次的商品或自配培养基应检测相应的性能，包括无菌试验、生长试验或与旧批号平行试验、生长抑制试验（适用时）、生化反应（适用时）等，应以质控菌株进行验证；（g）一次性定量接种环每批次应抽样验证。5.5.1检验程序的选择、验证和确认8条款号内容5.5.1.1总则实验室应选择预期用途经过确认的检验程序，应记录检验过程中从事操作活动的人员身份。每一检验程序的规定要求（性能特征）应与该检验的预期用途相关。5.5.1.2检验程序验证在常规应用前，应由实验室对未加修改而使用的已确认的检验程序进行独立验证。实验室应从制造商或方法开发者获得相关信息，以确定检验程序的性能特征。实验室进行的独立验证，应通过获取客观证据（以性能特征形式）证实检验程序的性能与其声明相符。验证过程证实的检验程序的性能指标，应与检验结果的预期用途相关。实验室应将验证程序文件化，并记录验证结果。验证结果应由适当的授权人员审核并记录审核过程。5.5.1检验程序的选择、验证和确认9条款号内容5.5.1.3检验程序的确认实验室应对以下来源的检验程序进行确认：a)非标准方法；b)实验室设计或制定的方法；c)超出预定范围使用的标准方法；d)修改过的确认方法。方法确认应尽可能全面，并通过客观证据（以性能特征形式）证实满足检验预期用途的特定要求。注：检验程序的性能特征宜包括：测量正确度、测量准确度、测量精密度（含测量重复性和测量中间精密度）、测量不确定度、分析特异性（含干扰物）、分析灵敏度、检出限和定量限、测量区间、诊断特异性和诊断灵敏度。

实验室应将确认程序文件化，并记录确认结果。确认结果应由授权人员审核并记录审核过程。当对确认过的检验程序进行变更时，应将改变所引起的影响文件化，适当时，应重新进行确认。应用准则对方法学性能的通用要求(1)检验程序需文件化；实验室负责人或指定的人员应在开始即对程序评审并定期评审。评审通常每年一次。评审应文件化。性能验证：定量试验：正确度、精密度、可报告范围、（携带污染率）定性试验：阴性符合率、阳性符合率、重复性、最低检出限等半定量试验：重复性生物参考区间验证及评审：20份健康人标本，生物参考区间的评审还应该有临床医生的参与。评审内容：生物参考区间的来源、针对的人群、生物参考区间验证结果、与临床诊断的符合性等。生物参考区间建立：120份健康人标本应用准则对方法学性能的通用要求(2)通过与其他实验室（如已获认可的实验室、使用相同检测方法的实验室、使用配套系统的实验室）比对的方式确定检验结果的可接受性时，应满足如下要求：（a）规定比对实验室的选择原则；（b）样品数量：至少5份，包括正常和异常水平；（c）频率：至少每年2次；（d）判定标准：应有≥80%的结果符合要求。实验室内部结果比对应符合如下要求：实验室用两套及以上检测系统检测同一项目时，应有比对数据表明其检测结果的一致性，实验方案可参考WS/T407-2012《医疗机构内定量检验结果的可比性验证指南》，或比对频次每年至少1次，样本数量不少于20，浓度水平应覆盖测量范围。应用准则对方法学性能的专用要求血细胞分析和尿液有形成分分析：建立复检规则，并验证，假阴性≦5%；(5.5.1.3)出凝血检验项目，更换新批号试剂时，如试剂敏感度差异明显，应重新验证生物参考区间；试剂敏感度接近时，可使用5份健康人标本进行结果比对，以确认参考区间的适用性。(5.5.2)

免疫定性试验：应按照制造商的说明或定义定期评审临界值或阈值(CUTOFF值)。(5.5.5)如制造商无相关的说明或定义，可以选择以下方法之一验证：阴性来源：选择没有疾病的健康人和非讨论疾病患者的病人的新鲜血清共120份，分3-5批3-5天进行检测，计算X、s，CUTOFF验证值为：X+3s；阳性来源：选择弱阳性（CUTOFF值±20%）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，CUTOFF值验证值为:X-3s。应定期（至少每6个月1次，每次至少5份临床样品）进行形态学检验人员的结果比对、考核并记录；应定期进行仪器法间白细胞分类计数正常标本的结果比对。设备故障后的特别要求设备发生故障后，应首先分析故障原因，如果设备故障可能影响了方法学性能。故障修复后，可通过以下合适的方式进行相关的检测、验证：（a）可校准的项目实施校准验证，必要时，实施校准；（b）质控物检测结果在允许范围内；（c）与其他仪器或方法比对；（d）以前检验过的样品再检验。如果设备故障影响了方法学性能，在设备修复、校准后，实验室可通过检测质控菌株或已知结果的样品的方式进行性能验证。性能验证的基本要求14操作者应熟悉仪器；操作者应熟悉评价方案；在评价实验过程中，设备应经严格校准或检定，所评价方法或检测系统必须有室内质量控制；所使用的标本应与临床标本有相似的基质，最好采用病人新鲜标本，避免基质效应；所使用的标本应尽可能避免干扰物质（溶血、黄疸等）的存在；所选择不同浓度的标本应尽量覆盖厂商声明的线性范围（线性、方法学比对时）并均匀分布；当验证厂商声明的性能时，选择控制物的浓度水平应接近医学决定值及接近于厂商声明试验所具有的浓度。现场评审内容查阅体系文件（程序文件、SOP)：是否有对检验程序文件化；是否有方法学性能验证的实施步骤；有没有复检规则、有没有生物参考区间验证或评审的规定；有没有定期比对相关的规定；文件的描述是否与相关标准或法规相吻合等查阅性能验证报告：是否规范化；是否制定了合适的判断标准等；是否签字保存查血涂片、尿涂片复检情况、是否按照复检规则进行复检现场提问/演示现场试验：留样再测、仪器比对、人员比对、图谱考核等CLSI-EP文件EP5-A2：EvaluationofPrecisionPerformanceofQuantitativeMeasurementMethods;ApprovedGuideline-SecondEdition.EP6-A：Evaluationoflinearityofquantitativeanalyticalmethods:AStatisticalApproach;ApprovedGuideline.EP7-A：InterferenceTestinginClinicalChemistry;ApprovedGuideline.EP9-A2：Methodcomparisonandbiasestimationusingpatientsamples;ApprovedGuideline-SecondEdition.EP10-A:Preliminaryevaluationofquantitativeclinicallaboratorymethods.EP14-A2:Evaluationofmatrixeffects;ApprovedGuideline-SecondEdition.EP15-A:Userdemonstrationofperformanceforprecisionandaccuracy;ApprovedGuideline.EP17-A:ProtocolsfordeterminationofLimitsofDetectionandLimitsofQuantitation;ApprovedGuideline.C28-A2:Howtodefineanddeterminereferenceintervalsintheclinicallaboratory.临床检验行业标准CNAS-CL07：2011《测量不确定度的要求》CNAS-GL03：2006《能力验证样品均匀性和稳定性评价指南》CNAS-GL06：2006《化学分析中不确定度的评估指南》WS/T228-2002《定量临床检验方法的初步评价》WS/T246-2005《白细胞分类计数参考方法》WS/T356-2011《基质效应与互通性评估指南》WS/T402-2012《临床实验室检验项目参考区间的制定》WS/T403-2012《临床生物化学检验常规项目分析质量指标》WS/T407-2012《医疗机构内定量检验结果的可比性验证指南》WS/T408-2012《临床化学设备线性评价指南》WS/T409-2013《临床检验方法总分析误差的确定》WS/T415-2013《无室间质量评价时实验室检测评估方法》WS/T420-2013《临床实验室对商品定量试剂盒分析性能的验证》WS/T492-2016《临床检验定量测定项目精密度与正确度性能验证》18性能验证的内容定量项目验证内容19精密度（Precision）验证（包括批内和总精密度）正确度（Trueness）验证分析测量范围（AMR）验证临床可报告范围（CRR）验证自动稀释（Auto-dilution）验证参考区间（ReferenceInterval）验证空白限（LOB）验证检出限（LOD）验证定量检测限（LOQ）验证污染携带（Carryover）验证方法学比对（MethodComparison）分析干扰（Interference）性能评价测量不确定度（MeasurementUncertainty）评定精密度20精密度（precision）的完整词语为测量精密度（precisionofmeasurement），定义为：在规定条件下，相互独立的检测结果间的一致程度。[G/T6379]。精密度通常用与精密度相反的检测不精密度统计量表示，如标准差（s）和变异系数（CV），精密度越低，s或者CV越大。21精密度验证（CLSIEP15-A2）验证材料及要求：质控品、已经检测过的病人标本或具有血清基质的定值材料。每个项目均需选择低值和高值两个浓度水平（至少2个水平）的验证材料进行验证。所用样本一定要稳定；其基体组成应尽可能相似于实际检测的病人标本；样品中的分析物含量应在该项目的医学决定水平附近。验证方案：对验证材料每天分析1批次，2个浓度，每个浓度重复测定3次，连续5天。离群值剔除：单次测量数据超出总均值±4SD。数据统计分析与可接受标准：WithinrunSD<厂家声明or1/4TEaTotalrunSD<厂家声明or1/3TEa数据处理正确度测量正确度measurementtrueness无穷多次重复测量所得量值的平均值与一个参考量值间的一致程度。注1：测量正确度与测量系统误差有关，与随机测量误差无关。注2：“测量正确度”不能用“测量准确度”表示，反之亦然。注3：正确度通常用偏倚(bias)表示。注意与偏差的区别！24正确度验证验证材料及要求：定值参考物质A新鲜冰冻人血清或其他一些未掺杂成分的人体物质B从能力对比试验中获得的参考物C厂家提供的正确度确认物或质控物D实验室室间质评物E由第三方提供的已用一些不同方法定值的物质验证方案：选择适合该方法最易获得的PT/EQA材料。最少要求测定2个水平，但更多水平适合于充分评价整个测量范围。选择的水平应能代表该方法的最低和最高测量范围。使用前充分混匀，重复测定2次。数据统计分析与可接受标准：数据评估，用二之一的总误差设定可接受范围上限和下限范围。正确度的判断252025/3/1828仪器比对（CA125例子）29实验结果比对结果953.596235.838.3243.0222.0420.2394.6125.8120.721.422.267.464.133.133.590.290.0516.3507.7405.4379.639.439.254.252.6256.5247.7132.4129.3134.4131.2172.4164.045.447.6146.5145.890.788.5根据回归方程计算医学决定水平处35U/ml的偏移为-11.08%（1/2TEa为12.5%），比对通过。分析测量范围30分析测量范围（analyticalmeasurementrange，AMR）又称线性范围：使实验系统的最终分析结果为可接受的线性的浓度范围，此时非线性误差应低于允许误差。（WS/T420-2013.临床实验室对商品定量试剂盒分析性能的验证）AMR是对分析系统直接检测分析物浓度或活性范围能否覆盖生产商声明的确认。

LH0.8L+0.2H1234560.6L+0.4H0.4L+0.6H0.2L+0.8H分析测量范围实验方法：收集厂商声明线性范围高限（H）和低限（L）附近的标本，将H和L按照以下比例稀释：每份标本重复检测3次，计算均值和每个理论浓度偏差。将得到的均值和预测值作直线回归统计，得到直线回归方程y=bx+a，计算相关系数r。判断标准：实测均值与预测值偏差小于10%，相关系数r≥0.95，b值在0.97-1.03范围内，认为厂家声明线性范围得到验证；否则，线性范围不被验证。使用EXCELL进行数据处理不通过，需查找原因，重新验证。分析测量范围——EP6A，WS/T408-2012本实验选取待验证线性范围高限附近和低限附近的样本进行混合，至少配制5个浓度。如果高浓度混合血清与低浓度混合血清的被测量浓度未知，可将每种混合血清编码，编码可代表每个血清相对浓度，具体见下图（以5个浓度为例）。

L1L+3H2L+2H3L+1HH12345所有浓度样品应在一次运行中或几次间隔很短的运行中随机测定，每个浓度标本重复检测3次，所有标本检测应在2小时内完成，计算每个浓度均值。离群值剔除：对于重复测定的数据组，采用格拉布斯（Grubbs）法进行离群值检验。以水平1为例进行离群值检验将水平1从小到大排序，计算均值和标准差计算t1和t2

根据显著水平α和重复测定次数查表，如果t值大于临界值则相应可疑值为离群值三次回归的标准误最小，所以三次回归曲线最适合本数据，对非线性系数b2、b3与0进行t检验，P＞0.05，验证的0.38-21.19范围是线性的。y=b3x3+b2x2+b1x+a进行多元回归分析（SPSS软件）如果二次或者三次多项式b2、b3系数与0有统计学意义，即P<0.05，需验证二次或者三次多项式与一次多项式预测值偏离，即系数非线性判断。除去最低点，其余浓度非线性偏移可接受。AMR&CRR38分析测量范围（AMR）：用没有作任何稀释、浓缩、或其他不属于常规检查步骤部分的预处理而直接测量样本的方法而得到的测试系统产生的结果范围，该结果位于最低的定量界限和最高线性界限之间。也叫做“直接可报告范围”或“线性范围”或“动态范围”。临床可报告范围：某种检测系统产生的结果范围在最低的定量界限和可计量结果的最高界限范围之间，包括样本的稀释或浓缩。临床可报告范围联同相关的稀释方案（稀释标准，稀释液，因子），必须在定量检测的标准操作规程（SOP）中指定。临床可报告范围验证（CLSIEP15-A2/EP17-A）39选择日常检测标本中接近分析测量范围上限（低于上限）的标本，可使用厂商推荐的稀释液，进行系列稀释或者浓缩。每个稀释浓度至少检测两次，计算均值。比较检测值和理论值，以R表示检测值与理论值的比值。判断标准：90%≤R≤110%为可接受限，超过可接收限的上一稀释或浓缩倍数为最大稀释或浓缩倍数。实测值/预期值×100%即为稀释回收率，最大稀释度得到验证。最大稀释度乘以AMR上限即为CRR的上限。示例40Tips41生理盐水或水稀释有可能因基质差异影响到方法而使试验不准参考区间42参考区间一般定义为中间95%区间，特定情况下，非对称定位的参考区间可能更适宜（肿瘤标志物）。参考区间可能会取决于原始样品种类和所用检验程序。参考区间验证（CLSIC28-A3c）43验证材料及要求：接收实验室在检验服务的总体中抽取20个参考个体，比较小样本参考值和原始参考值之间的可比性。接收实验室的操作必须和原始参考值研究的分析前和分析中各因素的控制保持一致，20个参考个体应具有接收实验室健康人群的代表性，并满足排除和分组标准。验证方案：检测按要求收集的20份参考个体样本。数据统计分析与可接受标准：评估数据，超出待验证生物参考区间范围的个体数量小于等于1个，验证通过44定量检出限验证（CLSIEP17-A）验证材料及要求：用厂家推荐的稀释液作为空白样本，并用此稀释液将已知浓度的低浓度样本（如低浓度定标液）稀释成近于厂家说明书检测低限的低浓度系列（5-10个浓度），作为分析灵敏度的实验样本。将每份稀释好的样本分成20-50份，冰冻保存。验证方案：系列稀释样本每天检测1次，推荐至少检测20天。数据统计分析与可接受标准：评估数据，计算每个浓度样本的CV值，CV值<TargetCV（通常是20%）的最低浓度即为LOQ。（一般作为临床可报告范围的低限）45携带交叉污染验证材料及要求：对于一些较小样本携带即可造成污染的项目（共用样本针），实验室需要对样本的污染携带率进行评价。验证方案：取高浓度样本（H）和低浓度样本（L）各一份，将高浓度样本分成10杯，低浓度样本分成11杯，21份样本按顺序：L1L2L3H1H2L4H3H4L5

L6L7L8H5H6L9H7H8L10H9H10L11连续测定。数据统计分析与可接受标准：携带污染=High-Low的均值–Low-Low的均值，携带污染<3倍Low-Low的SD则验证通过。测量不确定度的评估1、什么是测量不确定度？例：ALT的结果为120±12U/L（k=2，k为包含因子）或ALT的结果为120U/L±10%（k=2）±符号后面的数量就是测量不确定度12U/L是绝对值，10%(U/L)是相对值测量不确定度又简称为不确定度，符号u不确定度定义:根据所用到的信息，表征赋予被测量量值分散性的非负参数。

含包含因子与不含包含因子的不确定度有什么区别？含包含因子的不确定度称为扩展不确定度，以U表示，在报告测量结果时以U形式报告，同时说明k。如U=12U/L(k=2)不含包含因子的不确定度称为合成不确定度，以uc表示。uc×k=U,如uc

=6U/L测量不确定度的评估过程主要就是评定uc可以k=2，也可以k=3常规检验中一般k=2，代表测量结果95%的可信限常规检验中不确定度分量不确定度评估方法：“自下而上”与“自上而下”不精密度分量与偏移（偏倚）分量不精密度（imprecision）可用标准差（s）或变异系数（CV）表示偏移（bias）的不确定度分量通过特定方法求得假设偏移的不确定度为0精密度来源AACB推荐6个月可用“标准差（sRw）”或“变异系数（CVRw）”表示不精密度的量。根据定义，可直接用标准差表示不精密度的不确定度分量uimp=sRw

或%uimp=CVRw（1）6个月内使用同一质控品直接计算sRw或CVRw（2）6个月内使用了二个批号质控品计算CVRw平方和的根偏移的来源（1）计算偏移（正确度验证）与参考物质（CRM）比较与参考测量程序（参考方法，RMP）比较与室间质量评价（EQA/PT）的靶值(target)比较（2）计算参考物质（或参考方法）的不确定度（3）计算参考物质（或参考方法）（在常规实验室）的不精密度（4）计算偏移的不确定度定性项目及其他验证内容：56Cutoff值检测限分析特异性符合率诊断敏感性诊断特异性人员比对室间比对2017最新检验行业标准WS/T494-2017临床定性免疫检验重要常规项目分析质量要求WS/T505-2017定性测定性能评价指南58应按照制造商的说明或定义定期评审cut-off值。如制造商无相关的说明或定义，可以选择以下方法之一验证：

1、阴性来源：选择60份健康人新鲜血清和60份目标标志物阴性而有其他免疫标志物阳性的患者新鲜血清，共120份，分3-5批3-5天进行检测，计算X、s，cut-off验证值为：X+3s；2、阳性来源：选择弱阳性（cut-off值±20%，±应均匀分布）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，cut-off值验证值为：X-3s。Cutoff值验证检出限值的验证59

诊断特异性和灵敏度60

阴阳性符合率61

如果没有可用的诊断标准，那么需提供待评价试剂与某一已验证方法进行比较的结果，在这种情况下，则不能够计算敏感性和特异性，而是计算阳性符合率和阴性符合率。这种计算反映的并非方法的准确度，而是待评价试剂和已验证方法的一致性程度。总符合率=(a+d)/(a+b+c+d)×100%阳性符合率=a/(a+c)×100%阴性符合率=d/(b+d)×100%

需要特别说明的是，阳性符合率可以解释为已验证方法检测结果为阳性的标本中待评价试剂的阳性率，或待评价试剂检测结果为阳性的标本中已验证方法的阳性率，但是在本标准中，仅代表已验证方法检测结果为阳性的标本中待评价试剂的阳性率。省中西案例（精密度）62省中西案例（重复性）63省中西案例（特异性）64省中西案例（灵敏度）65省中西案例（CUTOFF验证）66省中西案例（更换批号验证）67省中西案例（不同试剂比对）68省人民案例（符合性验证）69省人民案例（精密度验证）70省人民案例（检出限验证）71总结72为什么要进行性能验证？判断检测结果的可靠性；评价厂商的声明；为选择新方法提供依据质量管理不断改进的必然趋势；各级行政检查的部署性能验证要做哪些内容？定量试验：正确度、精密度、可报告范围、（携带污染率）定性试验：阴性符合率、阳性符合率、重复性、最低检出限等在哪些情况下需要进行性能验证？检测系统常规使用前；检测系统发生变更（如地点、试剂等）

设备故障维修后；定期验证性能验证增加的工作量有多少？每个项目增加：200~300Tests方法学性能验证判断标准检测系统不精密度要求以能力验证/室间质评评价界限作为允许总误差(TEa)，重复性精密度<1/4TEa；中间（室内）精密度<1/3TEa。

实验室内分析系统间不定期比对（如设备故障修复后）要求标本数n≥5，浓度应覆盖测量范围，包括医学决定水平，至少4份标本测量结果的偏差<1/2TEa。实验室内分析系统间定期比对要求标本数n≥20，浓度应覆盖测量范围，包括医学决定水平，计算回归方程，计算在医学决定性水平下的系统误差（偏倚%），应<1/2TEa。留样再测判断标准依据检测项目标本稳定性要求选取长期限标本，n≥5，覆盖测量范围，考虑医学决定水平，至少4份标本测量结果的偏差<1/3TEa。

没有标准和室间质评要求时实验室间结果比对合格标准可依据制造商声明的性能标准而制定。CNAS-CL38《医学实验室质量和能力认可准则在临床化学领域的应用说明》74谢谢！75为何要做性能验证——复现验证性能指标是否符合厂家申明的性能验证性能指标是否适用预期用途，即能否达到质量要求5.5.1检验程序的选择、验证和确认76条款号内容5.5.1.1总则实验室应选择预期用途经过确认的检验程序，应记录检验过程中从事操作活动的人员身份。每一检验程序的规定要求（性能特征）应与该检验的预期用途相关。5.5.1.2检验程序验证在常规应用前，应由实验室对未加修改而使用的已确认的检验程序进行独立验证。实验室应从制造商或方法开发者获得相关信息，以确定检验程序的性能特征。实验室进行的独立验证，应通过获取客观证据（以性能特征形式