定量检验性能评价要求与实验方案设计-中山市人民医院

1、主要内容定量检验性能评价要求与实验方案设计方法学评价有关概念与管理要求检验程序及性能特征验证、确认和评价管理要求中山大学附属中山医院中 山 市 人 民 医 院 方法学评价实验方案精密度正确度张秀明可报告范围灵敏度和检出限E-mail:检验程序检验程序的性能特征 检验：确定一个特性的值或特征为目的的一组操作。 测量精密度（重复性、中间精密度） 测量正确度 定量检验和定性检验：通常将确定一个特性的值的检验称为定量检验；确定一个特性的特征的检验称为定性检验。 测量准确度 测量不确定度 检验方法和检验程序：检验方法是检验过程中所用操作逻辑次序的一般性描述，而检验程序是指根据一种或多种检验原理及给定的检

2、验方法对某一检验项目所做的详细描述。分析特异性（分析干扰）分析灵敏度 空白限、检出限、功能灵敏度和定量检出限 检测系统：检验程序与校准品和分析仪器组成检测系统，检验程序的分析性能通过校准品和分析仪器而实现，因此检验程序的分析性能通常又称检测系统的分析性能。分析测量范围和临床可报告范围诊断灵敏度和诊断特异性CNAS CL02:2012 检验程序的选择性能验证 首选检验程序验证（verification）是通过提供客观证据证明给定项目满足规定的要求。体外诊断医疗器械使用说明中规定的程序 验证是对主要的性能特征进行实验，用数据说明是否满足厂商声明或预期用途，适用于配套检测系统，必须由实验室独立完成。

3、公认/权威教科书、经同行审议过的文章或杂志发表的程序国际公认标准或指南中的程序国家、地区法规中规定的程序 定量检验验证的性能指标主要是精密度、正确度和可报告范围，某些检验项目还应包括检出限。 实验室应选择预期用途经过确认的检验程序。 每一检验程序的规定要求（性能特征）应与该检验的预期用途相关（验证）。对于定性免疫学检验来说主要是检出限、符合率和CUT-OFF值。性能确认方法学评价 确认（validation）是通过提供客观证据对特定的预期用途或应用要求已得到满足的认定。又称方法学性能评价（evaluation ofperformance of methodology）是通过实验途径评价测量方法

4、的技术性能指标，并判断其是否可接受。 适用于非标准方法、实验室设计或制定的方法、超出预定范围使用的标准方法和修改过的确认方法。 目的：明确该测量方法是否具有足够的技术性能来说明分析方法的可靠性，并确认其是否满足临床使用的要求或验证是否达到厂家声明的技术性能。 主要由厂商或方法的研究开发者完成。 性能确认应尽可能复盖所有性能指标，并通过客观证据（以性能特征形式）证实满足检验预期用途的特定要求。检验程序性能验证要求检验程序性能确认要求重复性试验精密度评价EP5或EP15EP9或EP15主要内容方法学评价方案中间精密度方法学比对正确度评价 方法学评价有关概念与管理要求回收试验检验程序及性能特征性能验

5、证、确认和评价管理要求检出限评价空白限、检出限、定量限（EP17)配对差异实验方案 方法学评价实验方案剂量效应实验方案EP7分析干扰评价用病人标本作偏倚分析实验方案精密度正确度可报告范围灵敏度和检出限多项式线性评价方案（EP6）稀释回收实验方案可报告范围确定参考区间参考区间的建立转移与验证（C28）精密度评价CLSI文件精密度实验基本要求试验样品一定要稳定，要严格控制冻融、混匀的操作。至少做正常和病理2个水平的精密度实验。EP05-A3 .Evaluation of precision of quantitativemeasurement procedures; approved guidel

6、ine-thirdedition. 2014尽可能在可报告范围内做高、中、低3个水平。EP5-A2：Evaluation of Precision Performance of ClinicalChemistry Devices; Approved Guideline-SecondEdition，2004若有可能应尽可能选择参考区间两端和医学决定水平处的浓度。实验样品的分析物含量应尽量与公司对检测系统性能评估时采用的含量一致，便于比较。EP15-A2. User Verification of Performance for Precisionand Trueness ,2005实验时按厂商操

7、作规程要求做好校准，并且一定要和实验样品一起做质量控制。EP15-A3. User verification of precision and estimation ofbias；approved guideline-third edition.2014精密度实验方法建议的精密度实验方法 传统方法（确认或验证）CLSI EP5-A2. Evaluation of precisionperformance of quantitative measurementmethods.2004.至少2个水平先进行重复性验证，批内重复测定20次，求均值、标准差和CV2220实验方案，主要适用于厂商和实验方法

8、的研究和开发者重复性符合要求，进行室内精密度验证，每天测定一次，连续20天120实验方案，可用于临床实验室，反映的是室内精密度常规质控在控CLSI EP15-A2.User Verification ofperformance for precision and Trueness.2005.EP15-A2或EP15-A3（验证）适用于所有定量方法，尤其是发光项目，至少2个水平，每天重复3次（或5次），连续5天，计算批内CV和室内CV。35（EP15-A2）或55（EP15-A3）实验方案，主要用于验证厂商的性能，也可与质量目标进行比较传统实验方案举例批内和日间检测结果（mmol/L）控制品中水

9、平高水平实验周期批内7.27.3天间7.4批内天间 某实验室在自动分析仪上作葡萄糖测定，使用葡萄糖氧化酶-过氧化物酶比色法试剂盒。为了解该葡萄糖检测系统的精密度性能，选用某公司的人血清冻干控制品作为精密度评价实验样品。选择中和高2个水平。对每一个水平的评价样品分别做批内和日间重复测定。批内将评价样品随机插入到病人样品中检测，连做20次；日间是每天做l次评价样品，累积20次结果。结果见下表：6.97.07.26.87.47.17.17.17.07.37.27.26.97.37.27.56.87.07.37.011.3 10.6 10.6 11.210.5 10.7 11.7 11.211.1 1

10、1.0 10.8 10.910.9 10.7 11.0 10.610.9 10.6 11.2 11.011.5 11.0 11.5 10.811.2 11.0 10.3 11.311.1 10.9 10.8 10.710.8 11.1 11.0 11.311.2 11.1 11.4 10.66.77.17.27.17.47.16.87.07.57.27.07.07.27.17.16.96.9检测结果精密度实验统计结果及性能判断确定性能目标（厂商声明）熟悉仪器、操作者培训、样品制备确定重复测定次数和实验周期EP15-A2精密度实验方案控制品水平中水平高水平实验周期批内20天间20批内天间20重复

11、次数（n）均值（mmol/L）20nxi7.090.167.140.2310.960.2611.000.35x 标准差（mmol/L）联系厂商寻求帮助否样品检测：重复测定3次，连续5天记录实验数据(xi x)n 12变异系数（%）2.263.2210%2.343.23sCLIA允许误差（TEa）计算批内和总的不精密度计算验证值，并检验大于 精密度的估计值是否小于验证值sCV 100%1/4TEa=2 1/3TEa=3 1/4TEa=2 1/3TEa=3.50% .33% .50% .33%2.26%2. 3.22%3. 2.34%2. 3.23%3.50% 33% 50% 33%符合要求 符合

12、要求 符合要求 符合要求x判断指标精密度的估计值与厂商声明比较小于是验证了厂商声明的精密度判断结论EP15-A2实验方案举例EP15-A2实验方案举例1.0 总 2.0厂家声明（标准差）： 批内统计学处理x x x x x实验方法：每天分析1个批次，每个浓度重复测定4次，连续5天。141.3计算总均值：x12345D实验数据：Dn计算批内标准差：xdi xd2s批内d1 i1 0.61重复次数 第1批第2批138第3批143第4批143第5批142D(n 1)计算总的标准差：X1X2X3X4140140140139D139144143143(xd x)D 12n 1138144143141B

13、d 1 5.6688批内B 2.44s总s2n137144143142EP15-A2实验方案举例主要内容 与厂商声明的性能的比较方法学评价有关概念与管理要求s批内(0.61) 批内(1.00)批内精密度：批内精密度与厂商声明的性能一致。室内精密度：s (2.44) 总(2.00)总检验程序及性能特征性能验证、确认和评价管理要求计算验证值并与s总比较：方法学评价实验方案(n 1)sn 12批内 (nB)2T 4.39n2B2精密度()s4批内 ()DD 1验证值：正确度2.0 11.14总C 3.19T：自由度；D：实验天数；n：重复测定次数；C：2分布值，查统计表获得可报告范围灵敏度和检出限T

14、4.39s总 (2.44) 验证值(3.19)结论： 总精密度符合厂商声明的性能。正确度评价CLSI文件正确度评价实验方法EP9-A3:Measurement procedure comparison andbias estimation using patient samples; approvedguideline- third edition. 2013EP9-A2：Method Comparison and Bias EstimationUsing Patient Samples; Approved Guideline -Second Edition，2002CLSI EP9-A2.M

15、ethod Comparison and Bias EstimationUsing Patient Samples,2002825方法学比对实验方案，主要适用于厂商和实验方法的研究和开发者CLSI EP15-A2.User Verification of performance forprecision and Trueness. 2005.EP15-A2：User Verification of Performance forPrecision and Trueness ,2005方法比对实验方案，主要用于验证厂商的性能，测量均值的偏差与可接受的性能标准进行比较，当偏倚性能标准时应计算偏倚的

16、验证值。EP15-A3. User verification of precision andestimation of bias；approved guideline-thirdedition.2014定值参考物质检测的回收实验简单回收试验EP9-A2实验方案基本要求EP9-A2实验方案基本要求 尽可能使50%的实验标本分析物的含量不在参考区间内，各个标本分析物含量越宽越好 检验人员有足够的时间熟悉仪器的操作、维护与保养 检验人员有足够的时间熟悉评价方案不要使用对任一方法有干扰的标本 在整个实验中，保持实验方法和比较方法都处于良好的质量控制之下每份标本应有足够的量，以便使实验方法和比较方法都

17、能做双份测定 试验方法和比较方法有足够的数据确保实验结果具有代表性将标本按1、2、3、4、5、6、7、8顺序 排列先测一遍，然后将顺序倒过来做双份第二次测定 每个标本用试验方法和比较方法作重复测定 至少做40份病人标本，实验至少持续5天应在2个小时内两种方法对同批标本分别开始实验，最好使用当天采集的标本EP9-A3方案要求40份样本，单次测量熟悉仪器，样本制备，检测EP9-A2方法学比对实验流程数据收集EP15-A2实验方案基本要求同一方法内重复测定值的离群值检验绘制Y-X散点图和（Y-X）-X偏差图若可能，删除非线性点不好剩余的范围是否足够应贮存收集的标本直至有足够的标本量。目测线性检查好是

18、否收集20份病人标本，浓度覆盖分析测量范围。超过一个离群值用实验方法和比对方法分别检测这20份标本。通常每天测定5至7个，持续3至4天。目测方法间的离群值检查少于一个离群值足够分布范围检查r20.95调查调查r20.95是增加数据，延伸分布范围否每种分析方法都应在4小时内完成，如果是贮存的标本应在复融后1到2个小时内测定完毕。计算回归方程使用部分偏倚程序不好目测散点图的一致性检查使用线性回归程序使用部分残差程序每种方法都应有质控程序保障。任何一批因为质控或操作困难而被拒绝，应在问题纠正后重测该批标本。计算平均和最大偏倚的估计值并与厂商声明的性能或内部标准比较EP15-A2两种方法结果的比较数据

19、收集与处理熟悉仪器，样本制备，检测数据收集EP15-A2实验方案举例实验数据记录表计算每个样本两种方法间结果的差值将数据分割成几部分，每部分独立计算平均偏倚实验方法 比较方法 bi bi b (bi b)2 %bi%b %b (%b %b)2ii绘制（Y-X）X偏倚或百分偏倚图76127256771212621 3.5 12.25 1.30 3.663.5 12.25 4.96 2.606 8.5 72.25 2.29 4.6513.3966.7521.63检查偏倚在检测的浓度范围内是否一致一致否联系厂商寻求帮助4计算两种方法间的平均偏倚否29251.52.25 16.0013.642.051

20、86.024.21计算偏倚或百分偏倚的标准差213436求和20443196.5 42.25 4.41计算偏倚和偏倚百分比的验证限，并检验估计偏倚或偏倚百分比是否在验证限内与厂商声明的性能或内部标准比较小于52.56.253571.161.201.44大于5047.22346.08核实了厂商声明的偏倚是假设一种血清葡萄糖测定方法的允许偏倚为2.00 mg/dL实验数据处理实验数据处理 三、点画偏倚和百分比偏倚图一、计算每个标本两种方法间结果的差值偏倚(b ) 实验方法结果 比较方法结果iii实验方法结果i 比较方法结果百分偏倚(%bi ) i 100%比较方法结果i二、计算两种方法的平均偏倚I

21、Ib%bii502047.2220b i1 2.5%b i1 2.36%nn实验数据处理实验数据处理 五、偏倚与可接受性能标准的比较 四、计算偏倚和百分偏倚的标准差计算的偏倚b(2.50mg / ml) 性能指标 (2.00ng / ml)I(bi b)2357.0019tssb i1 4.33mg / ml 4.27%2.539 4.33n 1验正值 b 2.0 4.46mg / mln20I(%bi %b)2346.08b(2.50mg / ml) 验证值(4.46mg / ml)s%bi1n 119两种方法的检验结果一致EQA：135家实验室，血糖均值40，标准差1.73mg/dL定值参

22、考物质检测的回收实验实验举例定值参考物质检测回收实验记录表有证参考物质（CRMs）：已用参考方法或决定性方法定值，可从美国国家标准局（NIST）或其他国际组织认可的提供者获得。操作者 分析批 重复次数nxi x-0.7(xi x)2xi37日期3/20ZXMWWJWDMPJLWJY批1批1批1批1批1重复1重复2重复1重复2重复1重复2重复1重复2重复1重复20.493839373836393838370.31.30.091.690.490.092.891.690.090.090.49从能力验证试验（PT）中获得的参考物：如CAP和卫生部检验中心能力验证试验中提供的调查品。3/213/223/

23、233/24-0.70.3厂商提供的正确度确认物或质控物。室间质量评价计划中使用的质控物。由第三方提供的已用不同方法定值的物质。-1.71.30.30.3-0.7可接受性判断简单回收试验 分析方法正确测定加入常规分析样品中的纯分析物的能力。 目的是测定比例系统误差，以衡量候选方法的正确度。简单回收试验简单回收试验2. 回收率计算 1. 方法回收率为回收量除以分析样品中纯分析物的浓度，公式如下：Tt - TCC V00TV将被分析的纯品标准液加入样品中，成为分析样品，原样品加入同量的无分析物的溶液作基础样品，然后用试验方法分析，两者测定结果的差值为回收量。回收率（ %）b 100C Tt：分析样

24、品的测定结果Tb：基础样品的测定结果T T ：回收量C0：加入的纯分析物的浓度V0：加入的纯分析物的体积TV：总体积tbC：分析样品中加入的纯分析物的浓度（加入后浓度）理想的回收率应为100%简单回收试验注意事项主要内容 方法学评价有关概念与管理要求准确吸量，因为被分析物的理论值是根据加入标准液体积及原样品的体积计算所得，吸液量稍有不准，就会影响结果；检验程序及性能特征性能验证、确认和评价管理要求样品中加入标准液后，总的浓度必须在方法的分析范围内，一般须加入高、中、低不同浓度做回收试验，计算平均回收率； 方法学评价实验方案精密度加入标准液后，最好使试验样品的被测浓度达到医学决定水平；正确度可报

25、告范围灵敏度和检出限加入标准液的体积一般在10%以内。若稀释过大，误差将发生改变，甚至消失。EP6-A定量测量程序的线性评价可报告范围可报告范围包含两种类型的范围，即分析测量范围（analytical measurement range，AMR）和临床可报告范围（clinical reportable range，CRR）。AMR：指对没有进行任何预处理，包括稀释，浓缩等的标本，分析方法能够直接测定出的待测物的范围。通常用EP6-A方案确定AMRCRR：是指对临床诊断、治疗有意义的待测物浓度范围。此范围如果超出了AMR，可将标本通过稀释、浓缩等预处理使待测物浓度处于分析测量范围内进行测定。通常

26、用最大稀释度验证实验确定CRR上限，下限为定量检出限或功能灵敏度实验方法EP6-A多项式线性评价制备线性样本：通常选择一个高浓度样本和一个零浓度（或极低浓度）样本通过倍比稀释获得，从低浓度到高浓度依次为1号样本、2号样本，。10080 数据拟合浓度范围覆盖厂商声明的线性范围或分析测量范围。文件要求验证厂商声明不低于5个浓度的样本，但在实际工作中选择7个更方便，便于找出非线性部分的拐点。每个浓度重复测定不低于2次，以判断方法的精密度是否符合要求。6040200判断精密度判断线性0246810样本号二次多项式以样本号（或已知值）为横座标，测定值的均值为纵座标作图，目测数据的分布情况。一次多项式三次

27、多项式利用多项式回归方法进行线性评价。多项式线性评价多项式线性评价精密度评价 数据拟合将一系列已知浓度的线性样本进行测定每个样本至少重复测量2次，测定结果满足精密度的要求，可继续进行线性评价将测定的数据拟合为一次多项式 Y=(a+bx)直线、二次多项式 Y=(a+bx+cx2) 、三次多项式 Y=(a+bx+cx2+dx3)数据精密度差，不给予线性评价判断各项系数与0之间的差异是否具有统计学意义，求得临床可接受的最佳拟合多项式多项式线性评价多项式线性评价 非线性的临床意义判断非线性的临床意义判断当数据拟合的最适多项式为非线性且数据精密度符合要求时，则需估计非线性的程度，即判断与直线的偏离程度，

28、用ADL表示。ADL 临界值非线性程度无临床意义非线性程度临床不可接受应用示例应用示例 验证三碘甲状原氨酸(T3)检测的分析测量范围标本号 测量值1 测量值2均值0.492.1953.94差值D0.021234560.52.113.925.717.8610.000.482.283.955.837.8010.20确定实验室可接受的不精密度和非线性程度的允许误差范围分别为5.0和10.0。-0.17-0.03-0.120.06准备高值（H）和低值（L）血清样本各一份，按5L、4L+1H、3L+2H、2L+3H、1L+4H和5H的关系配成六个等间距的稀释浓度样本，分别标记为1、2、3、4、5和6。5

29、.777.83按随机的顺序，对每个稀释浓度样本重复测量两次，记录数据结果。10.10-0.20应用示例应用示例重复测量误差:CVr=2.68%测量均值 预期值1 预期值3310.207% 差值42.240.05回归分析结果:二次和三次多项式均有统计学意义的非线性系数，由于三次多项式的回归标准误较小，最适多项式为三次。0.492.20.2842.1924.10.4912.1933.9345.7857.81810.1030.0013.945.777.8310.1-0.166-0.223-0.0980.278-4.21-3.86-1.252.75系统误差回归标准 自由误 度阶别 系数 数值1st b

30、1 1.90t检验6.0087.9169.8250.055 34.16 0.228102nd b2 0.073 0.009 7.880.0579-第一个点的线性偏倚超过方法学允许范围3rd b20.0 0.019 -2.7052应用示例应用示例5045403512108线性评价差值图3025201510564200481200-5123456T3测定均值(nmol/L)浓度倍数结论：该方法在实验所涉及的浓度范围内不成线性。应用示例应用示例 去掉第一个点后再分析测量均值2.20预期值1 预期值22 - 10.18% 差值8.38重复测量误差:3.54，符合要求。多项式回归分析:最适多项式为二次。

31、2.034.005.977.949.912.213.913.94-0.09-0.18-0.090.18-2.34-3.19-1.181.82系统误差回归标准 自由误 度阶别 系数 数值t检验5.775.781st b11.970.063 31.040.201107.837.842nd b2 0.092 0.008 11.473rd b2 -0.027 0.061 -0.460.030910.1010.093rd b3 0.010 0.0051.980.0198线性偏倚（DL）全部符合要求应用示例应用示例VAR00002T3差值图(2-6点)1210.008.006.004.002.000.00

32、线性评价108差值图640.002.004.006.008.0010.0012.00ObservedLinear-2.00-4.0020QuadraticCubic浓度(nmol/L)1234567得到缩小范围的AMR：2.2-10.1nmol/LVAR00001确定CRR上限（最大稀释度验证实验）主要内容 已知值样本：在AMR内选择高值样本13份 制备实验样本：按厂商推荐的最大稀释度稀释 上机实验：记录实验结果（实测值）方法学评价有关概念与管理要求检验程序及性能特征性能验证、确认和评价管理要求 计算预期值：已知值/稀释倍数方法学评价实验方案 计算稀释回收率：（实测值/预期值）100% 确定最大稀释度：回收率在90%110%为合格精密度正确度可报告范围分析灵敏度和检出限 确定CRR上限：依据功能灵敏度、分析测量范围及最大稀释度确定临床可报告范围上限。分析灵敏度IUPAC规定的灵敏度和检出限灵敏度：校准曲线的斜率，即对于规定量的变化分析程序产生信号的变化。检出限（LoD）：分析程序具有