《定性类能力验证结果评价规范》.doc

ICS 点击此处添加ICS号点击此处添加中国标准文献分类号RB中华人民共和国认证认可行业标准RB/T XXXXXXXX定性类能力验证结果评价规范Specification of Evaluation for qualitative proficiency testing（征求意见稿）本稿完成日期：2015年9月30日XXXX- XX- XX发布XXXX - XX - XX实施中 华 人 民 共 和 国国家质量监督检验检疫总局 发 布RB/T XXXXXXXXX目 次目 次I前 言II引 言III1 范围12 规范性引用文件13 术语和定义14 总则24.1 定性类能力验证计划常见类型24.2 定性类能力验证结果评价的一般原则25 定性类能力验证的方案设计35.1 一般原则35.2 定性类能力验证的均匀性检验35.3 定性类能力验证的稳定性检验36 指定值46.1 来源46.2 指定值确认（检验）46.3 指定值的信息披漏57 反馈信息57.1 反馈信息的收集57.2 反馈信息分析57.3 差异来源的识别67.4 其他因素68 能力评定78.1 一般原则78.2 评价结论79 异议的处置89.1 实施方的责任89.2 参加者的权利8附录A 定性类能力验证计划的举例说明10 前 言本标准按照GB/T 1.1-2009标准化工作导则 第1部分：标准的结构和编写的规范进行起草。本标准的附录为规范性附录。本标准由中国国家认证认可监督管理委员会提出并归口。本标准起草单位：中华人民共和国北京出入境检验检疫局、中国合格评定国家认可委员会、河北医科大学、中华人民共和国辽宁出入境检验检疫局、中国检验检疫科学研究院。本标准主要起草人：边勇、王静、王忠、刘来福、田洁、王有福、李岩、葛建军、郑春生、梁新苗、毕海涛、汪万春、张利峰。本标准首次发布。引 言 在检测分析领域，定性类检测占到了很大比例，特别是在动植物检疫等一些以定名检测为主的检测领域，以及一些虽然可以获得较为精确数值，但通常将检测结果以一定等级或质性结论予以表达的检测领域。当前，实验室间比对的作用日益彰显，并得到越来越广泛的应用。能力验证作为利用实验室间比对确定实验室能力的活动，已成为增强各利益相关方信心的重要手段。随着检测队伍的不断壮大，检测领域的不断拓展，对能力验证的需求也在不断增长，对能力验证活动自身的质量控制也需要进一步规范与加强。从目前已开展的能力验证计划来看，无论其形式如何，按照其结果类型，大致可划分为定量类计划、定性类计划或者是这两种类型的组合应用（某些参数为定量结果，某些参数为定性结果）。定量类计划以一定的数值为描述手段，其结果在一定范围内可趋于一致，结果评价标准相对统一，具有较明确的溯源性。定性类计划侧重于对能力验证物品的一个或多个特性进行鉴别或描述，其结果多为性状判定或描述，具有较强的逻辑性和推理性，在质变线附近较易受到主观因素的影响。 随着检测分析行业的发展，定性分析和定量分析的着眼点、层次、依据、手段、理论基础、结论表述形式等方面的差异逐渐被定义。一般而言，定量分析类的检测结果有较为直观和统一的表述方式，其能力验证运作规范尤其是对结果评价的方法，发展的较为成熟和稳定；而在定性分析领域里，能力验证的发展则相对滞后，尤其是与其结果相关的评价方法，无论是国际文件还是国内指南都尚为空白。随着定性类能力验证活动的日益增多，其规范化运作的要求也在不断提高。通过对定性类能力验证项目预期结果的获得过程进行分析与归纳，对结果评价的关键点及相应的评价标准进行确定及统一化、规范化，有助于促进能力验证活动在定性类检测的发展，也有助于认证认可行业在定性类能力验证上的发展与应用，进而促进实验室在定性类检测上的能力提升和质量的提升。11定性类能力验证结果评价规范1 范围本标准规定了定性类能力验证结果评价的要求和程序。本标准所指的定性类项目仅限于依靠人员感官进行评定的测试项目，依靠仪器读值进行人员判断的项目不适用本标准。本标准适用于规范能力验证实施方在开展定性类能力验证计划过程中所进行的结果分析和评价过程，同时适用于认可机构对能力验证实施方的评价。2 规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 27043 合格评定 能力验证的通用要求CNAS-CL03 能力验证提供者认可准则 GB/T 28043 利用实验室间比对进行能力证的统计方法3 术语和定义3.1 能力验证 proficiency testing 利用实验室间比对，按照预先指定的准则评价参加者的能力。3.2 能力验证物品 proficiency testing item 用于能力验证的样品、产品、人工物品、标准物质/标准样品、设备部件、测量标准、数据组或其他信息，最常见形式是一定形式的样品。3.2 指定值 assigned value 对能力验证物品的某种特定性质赋予的值或文字描述。3.3 结果值 end value参加能力验证计划的各实验室按照能力验证实施方的要求反馈的、具有统一单位的数值或文字性描述。3.3 定性类计划 qualitative scheme 该类计划是对能力验证物品的一个或多个特性进行鉴别或描述。3.4 一致性检验 consistency test 在相同条件下，依据一定的测试标准或方法对能力验证物品的待测特性进行多个测试或分析，并依据一定的方法对这些结果进行分析与评价，从而确定用于能力验证计划的物品待测性质一致的过程。3.5 稳定性检验 stability test在不同条件下，依据一定的测试标准或方法对能力验证物品的待测特性进行多个测试或分析，并依据一定的方法对这些结果进行分析与评价，从而确定用于能力验证计划的物品待测性质稳定的过程。4 总则4.1 定性类能力验证计划常见类型定性类能力验证，其结果通常是描述性的，并多以分类或定名或定序等尺度表示。具体示例可见附录A。4.2 定性类能力验证结果评价的一般原则4.2.1 定性类能力验证的结果有多种表现形式，评价方法应与结果形式相适应4.2.2 结果评价之前需根据能力验证计划类型和目标，选择与确定适合的评价方法与判定准则。4.2.3 能力验证实施方通过数据分析，将参加者反馈的结果与指定值进行比较，必要时，还可对参加者反馈的过程信息和结果信息进行关联性分析，根据比较与分析的结果综合评定参加者能否获得恰当测试结论的能力。4.2.4 对参加者进行结果评价时，一般包括以下几个方面： a). 指定值的确定b). 对参加者结果的分析c). 能力评定5 定性类能力验证的方案设计5.1 一般原则5.1.1 能力验证组织方进行项目设计时，应对所用标准及预期参加能力验证计划的实验室的专业技术和能力水平做出评估，并对之有充分的掌握，尽量避免在过高或过低的水平下进行评价。5.1.2 设计评价方法时，应考虑各测试参数与技术能力及其它相关要素之间的关系，从而确定结果分析的要点及结果评价的标准。5.1.3 定性类能力验证结果的评价，不应仅局限于对结果值与指定值进行符合性判断，还应考虑测试过程中其他因素对结果的影响，以此来识别和发现实验室在定性检测中存在的问题和来源。5.2 定性类能力验证的均匀性检验5.2.1 定性类能力验证的均匀性评价，可依照对能力验证参加者能力评价的影响，确定均匀性的特性范围检验要求，通常在物品分类和编号后进行（即对最终发放样品的检验）。5.2.2 定性类能力验证均匀性评价，应随机抽取10份或以上具有代表性的单元，使用两名以上技术人员，使用具有可靠精密度的方法，进行平行验证，必要时，采用两种以上方法，两种方法所代表的特性值在定性范畴内一致，在诸如物种鉴定、钻石定级等主要依靠人员感官评定且个体间不存在绝对均匀性的测试项目中，应将所有用于测试的样品事先有两名以上专家共同定级（定名）。5.2.3 当物品检验为不均匀时，首先应检查物品的来源、制备和检验过程，找出问题产生的原因，从而采取相应的措施，以求改进，乃至重新设计和制备物品。5.2.4 有些定性类项目，各个样品间并不具备绝对意义的均匀，这种情况下均匀性检验的特性值可以是范围值，只需确保被检物品具有可参照的正确结果。5.3 定性类能力验证的稳定性检验5.3.1 定性类能力验证计划的稳定性检验及检验间隔，应视能力验证物品的待测特性而定，某些物品例如钢铁，其某些定性特性值非常稳定，在此类能力验证计划中无需进行稳定性检验；5.3.2 可预先对能力验证物品在计划实施过程中受到的不确定因素进行评估，如能力验证物品受存储条件、时间的影响，具体可以表现为物品在传递过程中受到的温度、湿度、光照、振动、辐射等因素的影响。5.3.3 如验证存在不稳定因素，则应对不稳定性产生的影响进行适当修正，如制备方法或保存条件，或稳定剂作用等；之后继续验证，直至物品的待测特性可在能力验证实施周期内保持稳定。6 指定值6.1 来源6.1.1 通常情况下，定性类能力验证中的指定值需要由专家进行判断或由制造过程确定。6.1.2 定性类能力验证的指定值常见的几种来源有：a). 已知值按照一定标准程序进行配制获得，根据该方法不同比例获得的值范围确定指定值b). 有证参考值使用标准物质（标准样品、标准图卡等），以标准物质的参考值作为指定值c). 参考值根据对能力验证物品和可溯源到国家标准或国际标准的标准物质/标准样品或参考标准的并行分析、测量或比对获得d). 由专家参加者确定的公义值专家参加者(某些情况下可能是参考实验室)应对具有可证实的测定被测量量的能力，并使用已经确认的、有较高准确度的方法，且该方法与常用方法有可比性e) 由参加者确定的公议值某些情况下，也可采用一个预先确定好的、可使大多数参加者的结果为满意结果的比例（该比例应基于能力验证计划的目标和参加者的能力和经验水平来确定，如80%或更高）来确定。6.1.3 指定值的确定应确保公平地评价参加者，并尽量使检测或测量方法间吻合一致。6.1.4 只要可能，应通过选择共同的比对小组以及共同的指定值达到这一目的。6.2 指定值确认（检验）6.2.1指定值的真实性（或准确性）是定性类能力验证结果评价的基础。因此，无论组织者采取哪种方式获得指定值，均需对预建立的指定值进行随机验证。6.2.2 组织者在确定指定值时，应有确定该指定值真实性（或准确性）的程序。包括通用方法、相应参数及检验方式等。6.2.3 对指定值来源的确认，应从原始物品的获得开始，所使用的物品应具有相对稳定的获得途径，并有可追溯的详实的来源信息，6.2.4 组织者应确保采取的真实性评价方法的有效性，应记录所采取的真实性评价过程，并保存所有相关记录。6.2.5 对原始物品确认是进一步分析其某种特性值的基础，如对原始物品采取进一步加工处理时，还需充分考虑加工方法可能造成的特性值偏移（如基体对添加物的干扰）。6.2.6 在获得最终测试物品时，对其特性值的确认，通常采用拟推荐的检测方法及其他可能使用到的方法进行抽样验证，抽样验证应考虑人员、仪器、环境、经验等可能因素的影响，一般使用两名以上检测人员、两台以上检测设备、以及寻求两家以上具有可靠经验的实验室进行验证，以排除这些因素影响结果的可能性。6.2.7 通常在能力验证过程中必不可少的均匀性和稳定性检验，组织者也可将其作为对指定值的检验机会加以利用，并且评估均匀性和稳定性对指定值是否存在影响。6.3 指定值的信息披漏6.3.1 在对能力验证结果评价的技术报告中，组织者应当明确告知参加者，指定值的来源和已采取的确认方式，并将相关信息采用恰当方式予以披漏。6.3.2 如指定值获得的方式，可能影响到检测方法的选择或最终结果的评价，则相关信息的披漏应在项目开展前进行。7 反馈信息7.1 反馈信息的收集7.1.1 必要时定性类能力验证中反馈信息的收集，应包括反馈值以及获得该反馈值的过程或依据等信息。7.1.2 组织者应在项目设计时，应考虑收集信息的范围，如人员、仪器、环境、方法、样品等基本要素，并以适当的方式要求参加者反馈这些信息，以便通过对这些信息的分析，判断测试结论获得的可靠性，以及进一步识别测试过程中可能存在的问题。7.1.3 组织者可通过设计恰当的结果反馈表来获得这些信息，以及在作业指导书中要求（或建议）参加者提交检测原始记录单（或复印件）。7.1.4 必要时组织者应指明需要反馈信息的范围。7.2 反馈信息分析7.2.1 在定性类能力验证中反馈信息的分析应包含对反馈值及做出判断的其他记录信息的分析。7.2.2 对反馈信息的分析遵循从过程到结论的审查流程，主要评价内容包括反馈值来源、逻辑演绎性、结论描述性等。7.2.3 对于定性结果，如果应用统计方法，必须与结果的特性相适应。对定性数据，可采用直接将参加者结果与指定值进行比较的技术。如果两者相同，则结果是可接受的；如果不相同，可由专家判断参加者结果是否满足预期用途。7.2.4 对于定性检测过程的分析是其结果评价不可缺少的部分。对过程的评价分析可依照专业、行业的技术要求（标准等）或专业领域的惯例进行。7.2.5 如参加者反馈的结果及方法超出了组织者事先掌握的范围，组织者应通过对该方法的验证或寻求专家判断。7.2.6 在结果分析中，任何差异都应分析和识别其来源，当以非约定符号进行概括性描述时，组织者还应对反馈值的意义进行识别，包括同义表述、核心一致或扩大表述等。7.2.7 某些定值为参考区间的特性值，如出现区间重叠，应结合实验室的解释，予以判断。7.3 差异来源的识别7.3.1 定性检测通常涉及三个基本步骤，对应于观察分析能力、经验判断能力和逻辑推理三种能力。a).分析综合b).比较c).抽象和概括7.3.2 定性检测定值的差异来源可出现在以上三个过程中，对定性结果的判断则基于特性量获取、特性量与结果逻辑性、结论描述三个基本方面，以有害生物鉴定为例，其差异来源主要存在于以下环节：a). 特征性状收集b). 特征比较c). 鉴定结论每个环节的差异均可反映在最终结果中。相应分析也应立足这三个方面，即对基本特性采集的准确性、逻辑判断的准确性和结论描述的准确性三个方面进行。7.3.3 一些定性检验过程中可能涉及以数值进行定性值确认，如选择某一检测值作为判断阳性、阴性结果的阈值，如Elisa反应，其结果判断通常以最终定性结果为准，但分析过程中可对数值进行检验，特别是同批次样品，以分析发现检测过程中不同设备、试剂等之间存在的差异。7.4 其他因素7.4.1 定性类能力验证，一般还需考虑能力验证物品的一致性、稳定性及真实性对能力评定的影响。7.4.2 某些情况下，组织者应制定容许接受的结果范围，例如，结果落在指定值的上或下一个数值范围内即可视为可接受值。7.4.3 某些情况下，利用百分位数评估能力也是合适的，如，可以规定距离指定值最远的5%的结果是不可接受的。7.4.4 对于某些定性类能力验证，若采用统计方法进行分析，必须与结果的特性相适应，如对判断相关的数值（如血清学反应中的OD值、实时荧光PCR反应中的CT值）进行统计分析，以评价获得数值的要素的可靠性时，组织者应将数值与结论之间的相关性进行说明。涉及数值的统计方法可参照GB/T 28043 进行。7.4.5 定性类能力验证结果评价所采用的规则应根据能力验证计划的目的来确定，并且应当作为能力验证计划的一部分在方案制定阶段予以决定，并在计划开始前使参加者了解。8 能力评定8.1 一般原则8.1.1 通常情况下，能力验证实施方应根据现有的评价依据或遵守行业惯例或根据上级主管部门的要求，建立评价原则。8.1.2 如组织者采用其他标准或根据主管部门要求设置拟达到的水平时，组织者需要进行充分论证其意义，并预先告之参加者。8.1.3 针对不同级别的实验室，其获得满意结果的水平可以存在差异，但应在测试说明中明确。8.1.4 通常情况下，所设置的水平不应低于行业内所遵循的最低标准。8.1.5 某些情况下，组织者可使用合格参与结果评价之间的关系，如在某一检验项目的5个样品检测中至少达到80%可接受结果的评价结果为满意。8.1.6 某些情况下，依据检测值做出的判断，还应确认反馈数值与即定数值（靶值）的可接受范围，如20%，或1级等。8.2 评价结论8.2.1 定性类能力验证，在有明确可性指定值的情况下，反馈值与指定值的符合性，通常被作为一种判断结论给出，但组织者进一步依据过程分析做出评价结论时，应给出理由或详细说明。8.2.2 组织者应负责确保评价的方法适合于维持该计划的可信性，在参加者使用指定的方法时，组织者可基于对该方法预先进行的识别，分析其各环节可能出现的影响因素。在参加者自由选择所用的方法时，组织者可以对所使用方法的性能、复现性等进行评议。8.2.3组织者根据反馈信息给出的技术性建议，是基于分析数据的倾向性判断，一般应给出必要的解释。8.2.4 由于单次能力验证结果不一定能够反映实验室的真实水平，评价结论用语应准确表达该意思，避免对实验室检测能力直接做出过大的肯定与否定。8.2.5 定性类能力验证应成立专门的专家组（或顾问组），对计划过程中涉及到的关键点进行识别和判断，组织者可谋求技术顾问的帮助，以对实验室能力的以下方面提供专家评议，但能力评价不能使用分包方式。8.2.6 定性类能力验证结果评价的结论包括但不限于以下内容： a). 总体能力与原先期望值的比较 b). 实验室内和实验室间的变异c). 方法与程序之间的差异d). 差异的可能来源和改进能力的建议e). 任何其他建议9 异议的处置9.1 实施方的责任9.1.1 能力验证实施方应根据能力验证通用规则，针对有异议结果制定处置原则、解决程序及申诉方式，并应对参加者进行告知。9.1.2 通常情况下，实施方在接到