上海市临检中心 生化继续教育课件 检验程序的性能验证-王惠民

检验程序的性能验证南通大学附属医院王惠民一、有关基本概念1、临床实验室管理学主要内容

“临床实验室管理学”已成为检验医学重要组成之一。

临床实验室管理学兼有管理学和检验医学的特点。

掌握临床实验室管理学的内容架构有助于建立科学的管理体系和做好实验室的管理工作。IQC质量控制

EQA/PT溯源（技术层面）方法学研究

验证评价质量管理不确定度临床实验室管理组织结构人力资源安全管理科学管理管理体系经济管理设施与布局设备与试剂（行政层面）学科建设分析前、分析后实验室认可领导艺术管理艺术个人修养临床实验室管理内容关系图临床实验室管理内容结构2、性能验证或确认有时称方法学性能评价验证

verification通过提供客观证据对规定要求已得到满足的认定。注

：认定可包括下述活动，如：—变换方法进行计算；—将新设计规范与已证实的类似设计规范进行比较；—进行试验和演示；—文件发布前进行评审。确认

validation通过提供客观证据对特定的预期用途或应用要求已得到满足的认定。•

性能验证（或确认）验证对象：检验程序（或检测程序、测量程序）验证指标：精密度、正确度、线性、参考区间、灵敏度（检测限）

、特异度（干扰）等•

诊断效能评价评价对象：检验项目（或检测项目、测量项目）评价指标：灵敏度、特异度、预测值、验前概率与验后概率等•

检验程序与检验项目每一个检验项目（如HBsAg）可有多种测定方法（如ELISA法、金标法、发光法等），每一种测定方法又有多种测定程序（BECKMAN化学发光法测定血清HBsAg浓度，ABOTT化学发光法测定血清HBsAg浓度等）。•

检验程序与测量程序测量程序一般指用于定量测定的程序（测量：通过实验获得可合理赋予某量的一个或多个量值的过程。）；检验程序一般包含了定量测定与定性测定（检验：以确定一个特性的值或特征为目的的一组操作）。ISO

15189:2007

的要求•

5.5.3

所有程序应文件化并使相关人员可在工作站得到。文件应包括：c)性能参数（如线性、精密度、以测量不确定度表示的准确性、检出限、测量区间、测量真实性、分析灵敏度和分析特异性）；

l)生物参考区间；

m)检验结果的可报告区间。•

5.5.5

应定期评审生物参考区间。当实验室更改检验程序或检验前程序时，如适用，也应评审生物参考区间。•

5.6.3应设计并实施测量系统校准和正确度验证计划，以确保结果可溯源至SI

单位。ISO

15189:2012

的要求•

5.5.1.2

检验程序验证•••在常规应用前，应由实验室对未加修改而使用的已确认的检验程序进行独立验证。实验室应从制造商或方法开发者获得相关信息，以确定检验程序的性能特征。实验室进行的独立验证，应通过获取客观证据（以性能特征形式）证实检验程序的性能与其声明相符。验证过程证实的检验程序的性能指标，应与检验结果的预期用途相关。•实验室应将验证程序文件化，并记录验证结果。验证结果应由适当的授权人员审核并记录审核过程。ISO

15189:2012

的要求•

5.5.1.3

检验程序的确认实验室应对以下来源的检验程序进行确认：•

a)

非标准方法；•

b)

实验室设计或制定的方法；•

c)

超出预定范围使用的标准方法；•

d)

修改过的确认方法。方法确认应尽可能全面，并通过客观证据（以性能特征形式）证实满足检验预期用途的特定要求。ISO

15189:2012

的要求•检验程序的性能特征宜包括：•

测量正确度•

测量准确度•

分析特异性（含干扰物）•

分析灵敏度•

测量精密度（含测量重复性和测量期间精密度）•

检出限和定量限•

测量区间•

诊断特异性和诊断灵敏•

测量不确定度度。ISO

15189:2012

的要求•

实验室应将确认程序文件化，并记录确认结果。确认结果应由授权人员审核并记录审核过程。•当对确认过的检验程序进行变更时，应将改变所引起的影响文件化，适当时，应重新进行确认。CNAS规定的不同检验领域性能验证指标CNAS检验领域验证内容定量至少应包括：精密度、正确度、线性、测量和/或可报告范围、抗干扰能力等。定性至少应包括：测定下限、特异度、准确度（方法学比较或与金标准比较）、抗干扰能力等CNAS-CL36分子诊断学CNAS-CL38临床化学

精密度、正确度、可报告范围等CNAS-CL39定性：检出限、符合率（采用国家标准血清盘或临床诊断明确的阴阳性样品各20份或与其他方法比对）临床免疫学体液学CNAS-CL41尿液干化学分析仪：阴性和阳性符合率。尿液有形成分分析仪：精密度、携带污染率和可报告范围。精密度、线性、准确度、分析灵敏度、分析特异度、生物参考区间。培养方法的性能指标通常不包括精密度和线性CNAS-

临床微生物CL42学CNAS-CL43临床血液学

精密度、正确度、可报告范围等卫生部“医疗机构临床实验室管理办法”的要求（2006）•

第三十条

医疗机构临床实验室应当将尚未开展室间质量评价的临床检验项目与其他临床实验室的同类项目进行比对，或者用其他方法验证其结果的可靠性。临床检验项目比对有困难时，医疗机构临床实验室应当对方法学进行评价，包括准确性、精密度、特异性、线性范围、稳定性、抗干扰性、参考范围等，并有质量保证措施。卫计委等级医院检查的要求（2012）在“4-16-1-4

检验项目、设备、试剂管理符合现行法律法规及卫生行政部门标准的要求”中•

2、进行恰当的方法学验证以保证准确度、精密度、灵敏度、线性范围、干扰及参考范围设定等各项技术参数均能符合临床使用需求；并向临床提供“医生手册”或“项目指南”公示以上性能和TAT。•

在“4-16-7-1

由科主任与具备资质的质量控制人员组成质量与安全管理小组，制定质量与安全管理计划和质量控制指标，开展质量管理工作”中•

1、质量体系完整，质量与安全监控指标至少包括标本合格率、分析前TAT；项目检验的偏倚、精密度、线性；标本接受到报告的TAT；室内质控RCV；室间质评偏差；报告完整性和及时率；废弃物处理合格率；职业暴露等，并定期进行量化评估。为何要对检验程序进行性能验证？•

满足规范或标准的要求•

在应用新的检验程序前•

仪器运输和安装过程中仪器性能发生了变化•

工作环境和条件的差异及发生变化（水质、电压、温度、湿度、大气压等）•

试剂储存条件等状况发生变化•

仪器电子部件的老化和机械部件的磨损•

操作程序的改变•

人员素质的差异及人员变动等何种情况下需要进行性能验证？•

迎接等级医院检查和各种评审•

测量系统（仪器与试剂）在正式使用之前•

实验室自已研制或开发新的项目前（确认）•

按计划进行周期性评价•

仪器进行了重大维修或更换了主要部件后•

室间质评失败后•

不同仪器之间的比较（正确度评价）谁来负责和实施方法学评价？•

主任：关注性能验证计划的制定和实施•

技术负责人：制定性能验证的程序文件和年度计划，检查验证效果•

质量负责人：监督性能验证的质量（可由技术负责人兼）•

专业主管：监督本专业组验证计划的执行，组织制定本专业组的验证SOP•

技术人员：实施验证计划，作出验证结论建立性能验证的有关文件•

科室的程序文件•

各专业组的程序文件•

各专业组性能验证的SOP•

性能验证报告科室程序文件专业组程序文件性能验证标准操作程序性能验证报告3、正确度、精密度与准确度•

它们分别是测量正确度、测量精密度与测量准确度的简称。•

它们都没有具体的“量”，只能说“好”、“差”或“高”、“低”。•

正确度与系统误差有关，精密度与随机误差有关，准确度反应了正确度和精密度的总和，与总误差有关。•

一般情况下，正确度用偏移（偏倚）表示，精密度用CV或s表示，准确度用总误差表示。正确度不好正确度好精密度不好精密度好准确度好精密度好正确度差正确度好精密度差误差的类型性能特征的定量表达性能特征正确度系统误差（总）误差随机误差偏移（bias）准确度精密度测量不确定度标准差变异系数误差类型、性能特征和它们定量表达的关系准确度正确度精密度4、测量仪器和测量系统（定量）•

测量仪器指单独或与一个或多个辅助设备组合，用于进行测量的设备。•

测量系统指一套组装的、适用于给出获得特定种类的量在规定区间内的测得的量值所需信息的一台或多台测量仪器，还常有其他设备，包括任何试剂和供应品。一台可单独使用的测量仪器也可是一个测量系统。•

检验科技术人员应能了解测量仪器的检定或校准与测量系统校准之间的区别。校准一般由授权或认可的检定或校准机构进行，也可由实验室制订

SOP

进行自校准。二、正确度评价1、概念和定义•

正确度指无穷多次重复测量所得值的平均值与一个参考值间的一致程度。•

正确度不是一个量，是个抽象概念，不能用数值表示，一般用“偏移”表示。•

偏移又称为偏倚，指系统测量误差的估计值。常通过将测量结果的平均值减去参考值（如有证参考物质的值）获得，偏移可为正数或负数。•

偏移与偏倚2、偏移的实验设计和计算方法与EQA/PT靶值比较与参考物质（或校准品）比较回收试验与参考测量程序比对偏移计算EP9-A2（确认）EP15-A2（验证）测定结果的可比性仪器之间的比对人员之间的比对自己制定的方案实验室之间的比对•

EP9-A3特点：测定40个标本，浓度应覆盖线性范围，包括医学决定水平，每天测定8个标本，共5天；•

EP15-A2特点：测定20个标本，浓度应覆盖线性范围，包括医学决定水平，1天内完成。•

自己制定的方案（推荐）：测定3～10个标本，至少包含高、中、低浓度，1天内完成。•

EP9-A3和EP15-A2均需采用严密的统计学方法处理，转化为实验室自己的方案后计算平均偏移即可。•

最合适的方法是与参考测量程序比对（最好的溯源方法）•

其次是与参考物质比较（可能存在基质效应）•

最方便的是与EQA/PT靶值比较•

方法学之间的可比性：最完善的是EP9-A3，较合适的是EP15-A2，最方便的是根据实验室的具体情况制定自己的比对方案建

议•

回顾性的验证与EQA/PT靶值比较•

新的测量系统、仪器比对、人员比对用EP15-A2或自己制定的方案。3、如何判断方法学比较试验•

相关系数（r）分析•

方法比较的配对t检验•

Bland-Altman分析•

Kappa系数•

建立偏移的“可接受”标准进行判断A

10

20

30

40

50B

20

40

60

80

100BA回归方程：y=2x相关系数：r=1A

10.0

20.0

30.0

40.0

50.0B

10.1

20.2

30.3

40.4

50.5BA回归方程为：y=1.01xP＜0.05举例：PCT的方法学比较实验结果706050403020100y

=0.565x

+0.015R²=0.972偏移达42.0%020406080100120VIDAS

BrahmsPCT

(ng/ml)相关系数R²

=0.9726,

R=0.9862相关系数和t

检验并不能说明二种方法的一致程度4、正确度“可接受性”的判断标准•

与厂家声明的偏移比较•

与卫生行业标准对偏移的要求比较（平均或80%符合要求）•

与检验科自定的标准比较•

将偏移与CLIA’88的TEa或卫计委的TEa比较，一般应平均偏移<1/2

TEa（或80%的偏移<1/2

TEa）•

通过方法性能决定图判断•

利用效能函数判断：当已知偏移、试验方法和比较方法的测量不确定度时，可通过计算效能函数（En）后再进行判断。•

与个体内变异及个体间变异比较卫生标准

卫生标准允许偏移

推荐TEa卫生标准

卫生标准允许偏移

推荐TEa项目项目钾（K+）钠（Na+）2.01.51.52.03.02.03.04.55.56.04.0ALTAST6.05.05.510.05.54.07.55.55.04.05.04.516.015.011.018.015.011.015.015.015.09.0氯（Cl-）4.0GGT钙（Ca2+）磷（P2+）5.0ALP10.07.0CK葡萄糖（GLU）尿素（UREA）尿酸（UA）肌酐（CREA）LDH8.0Amy12.012.0镁（Mg2+

）TBi总蛋白（TPRO）总胆固醇三酰甘油铁（Fe）2.02.05.06.014.015.0白蛋白（ALB）方法学性能评价及要求中华人民共和国卫生行业标准WS/T

403-2012临床生物化学检验常规项目分析质量指标性能验证一般要求•

精密度：CV＜0.5CVI•

正确度：2

B

0.25

CV

CV2IG•

允许总误差：

TE

TEa

1.65

0.5CV

0.25

CV

CV22IIG5、应用实例：与EQA/PT靶值比较•

某医院检验科的血糖（己糖激酶法）项目在二年内参加该省临床检验中心的室间质量评价共10次，测定次

123456789109.02

8.52

14.80

19.77

12.40

7.89

13.70

15.35

5.93

6.92xtarget(i)

8.82

8.44

14.87

19.47

12.35

7.90

13.75

15.58

5.98

7.01xibi0.20

0.08

-0.07

0.30

0.05

-0.01

-0.05

-0.23

-0.05

-0.092.27

0.68

-0.47

1.54

0.40

-0.13

-0.36

-1.48

-0.84

-1.28bi%2.27

0.68

(

0.47

)

1.54

0.4

(

0.13)

222222b%

/10

1.162

(

0.36)

(

1.48)

(

0.84)

(

1.28)2

2

26、值得探讨的问题：如何计算平均偏移？1.

直接计算偏移的均值bibn2.

计算偏移绝对值的均值xibn3.

Nordtest计算方法2xibn6、值得探讨的问题：如何用校准品进行评价？•

校准品能够溯源，能提供不确定度•

校准品与仪器所使用的校准品不是同一批号或不是同一浓度•

尽量用有证参考物质代替校准品三、精密度评价1、概念与定义•

精密度:

指在规定条件下，对同一或类似被测对象重复测量所得示值或被测量的值间的一致程度。→

重复性重复性条件“规定条件”→期间精密度条件期间精密度→复现性条件复现性重复性条件•

指相同测量程序、相同操作者、相同测量系统、相同操作条件和相同地点，在短时间内对同一被测对象进行的重复测量。期间精密度条件•

指相同测量程序、相同地点，在一个长时期内对同一被测对象进行重复测量。在这一段时间内可以对仪器进行重新校准或更换操作者等。复现性条件•

指不同地点、不同操作者、不同测量系统，对同一被测对象进行重复测量。2、精密度评价的实验设计或计算方式•

一般计算期间精密度•

以质控品或新鲜血清测定•

以s、CV表示回顾性评价：利用室内质控数据•

评价方法EP

15-A2(A3)新的测定系统自己制定的方案3、

精密度“可接受性”的判断标准•

与厂家声明的批内不精密度和批间不精密度比较•

与卫生行业标准推荐的精密度要求比较•

与检验科自定标准比较•

与CLIA’88推荐的TＥa、卫生行业标准推荐的TEa比较（1）重复性（批内精密度）：CV或标准差应小于或等于TEa的1/4。（2）期间精密度（批间精密度）：CV或标准差应小于或等于TEa的1/3。•

与个体内变异比较卫生标准

卫生标准卫生标准

卫生标准项目项目推荐CV2.51.51.52.04.03.03.04.54.0推荐TEa推荐CV6.06.03.55.05.54.04.55.56.03.05.06.5推荐TEa16.015.011.018.015.011.015.015.015.09.0钾（K+）钠（Na+）6.0ALTAST4.0氯（Cl-）4.0GGT钙（Ca2+）磷（P2+）5.0ALP10.07.0CK葡萄糖（GLU）尿素（UREA）尿酸（UA）肌酐（CREA）LDH8.0Amy12.012.0镁（Mg2+

）TBi总蛋白（TPRO）总胆固醇三酰甘油铁（Fe）2.02.55.06.014.015.0白蛋白（ALB）方法学性能一般要求•

精密度：CV＜0.5CVI•

正确度：2

B

0.25

CV

CV2IG•

允许总误差：

TE

TEa

1.65

0.5CV

0.25

CV

CV22IIG4、应用实例：利用室内质控数据•

我室2013年上半年血细胞室内质控变异系数（CV%）WBC

RBC

HGB

HCT

PLT

MCV

MCH

MCHC中值

1.53

0.70

0.50

0.72

1.76

0.26

0.85

0.88高值

1.23

0.69

0.57

0.70

1.51

0.26

0.89

0.86卫生行业标准（CV%）WBC

RBC

HGB

HCT

PLT

MCV

MCH

MCHCCV

6.0

2.5

2.0

4.0

8.0

2.5

2.5

3.05、应用实例：应用自己制定的方案•

测量血清LDH活性，每天测量3次，连续测量5天。测量次数

第一天

第二天

第三天

第四天

第五天123139.9

140.3

141.2

140.5

139.2141.3

140.3

141.5

140.1

139.0141.5

140.6

141.3

140.6

139.1x140

.4s

0.85CV

0.6•

卫生行业标准对LDH精密度要求：CV≤4.0%•

实验室自己制定的标准:

CV≤1.5%6、值得探讨的问题：如何进行精密度实验和计算•

测量频次：20天？1月？1年？•

测量水平（浓度）：1水平？多水平？•

是否重复测量：？•

CV计算方式：去除离群值？每天计算均数后再算CV？总CV是否包含批内CV？是否进行方差分析？•

什么情况下适用EP文件？6、值得探讨的问题：如何计算平均CV？检验科一般按月计算CV，如果计算一年的平均CV，怎样计算才是最合理的?1.根据所有的原始数据重新计算均值、标准差和CV。2.

计算算术均值C

VinC

V

3.

以平方和均值开根的方式计算CVi

2CVn6、值得探讨的问题：如何计算平均CV？4.

加权平均CV109白细胞计数的质控结果（WBC×

/L）批号123124125均值7.8批的数量CV（%）2.33022418.04.68.12.130

2.3

22

4.6

41

2.130

22

41加权平均CV

2.76四、总误差与允许总误差1、概念和定义•

总误差（total

error，TE）又称总分析误差，指能影响分析结果准确度的确定误差的组合，是随机误差与系统误差的总和。•

允许总误差（allowable

total

error,

TEa），指选用的测量方法的总误差必须在临床可接受的水平范围内，也就是就是说任何一项测量项目大于允许总误差都是不能接受的。2、总误差的评定原则Westgard方法：TE

=1.65s+b总误差评定CLSIEP21-A3、TEa的制定原则•

根据参考值与参考区间设定允许总误差（%）=±（1/4）[（参考上限-参考下限）/参考值均值]×100%•

根据生物学变异制定主要根据个体内变异（CV

）和个体间变异（CV

）IG

22TEa

1.65

0.

5CV

0.

25

CV

CVIIG•

根据有关文献或研究结果卫计委的

卫计委的允许偏移

推荐TEa卫计委的

卫计委的允许偏移

推荐TEa项目项目钾（K+）钠（Na+）2.01.51.52.03.02.03.04.55.56.04.0ALTAST6.05.05.510.05.54.07.55.55.04.05.04.516.015.011.018.015.011.015.015.015.09.0氯（Cl-）4.0GGT钙（Ca2+）磷（P2+）5.0ALP10.07.0CK葡萄糖（GLU）尿素（UREA）尿酸（UA）肌酐（CREA）LDH8.0Amy12.012.0镁（Mg2+

）TBi总蛋白（TPRO）总胆固醇三酰甘油铁（Fe）2.02.05.06.014.015.0白蛋白（ALB）五、方法线性的验证1、基本术语及定义•

方法线性分析测量范围•

指患者样本未经任何处理（如稀释、浓度等），由检测系统直接测量得到的可靠结果范围，在此范围内一系列不同样本分析物的测量值与其实际浓度呈线性比例关系。•

临床可报告范围•

指定量检测项目向临床能报告的检测范围，患者样本可经稀释、浓缩或其他预处理。2、主要的线性评价方法目测法：•

评估几个不同浓度样本的多次测量均值与实际值之间是否具有肉眼上的直线关系，没有用到统计学方法来证实线性。•

直线回归法（平均斜率法）：•

采用最小二乘法直线回归统计分析方法。y

b

b

x01•

判断标准：斜率1±3%，或回归系数≥0.975•

本法对离群值非常敏感，单个离群值可将整个回归直线拉“高”或拉“低”。•

多项式回归法（EP

6-A）：•

采用二元一次、二次与三次的曲线回归统计处理y

b

b

x01

y

b

b

x

b

x2012

y

b

b

x

b

x

b

x230123•

判断标准：哪一个回归方程与实验数据拟合最好，对每个回归系数计算其标准误，如b2和

b3无统计意义，则认为仅存在线性关系，否则存在非线性。3、线性实验设计思路实验时间：尽可能在短时间内完成，最1好一天内完成。实验样本：一般需5-7个稀释度，每个稀释度重复测量2～4次。23测量顺序：采用随机方式数据收集与统计：检查离群值，利用直线回归法或多项式回归法进行判断4•

选择新鲜的高、低二份标本进行相互稀释•

高值：尽量选择厂家给出的线性高点•

低值：尽量低，一般不高于功能灵敏度序号配制方式5L1234564L+1H3L+2H2L+3H1L+4H5H•

4、应用实例：直线回归法浓度梯度1021平均值预期值1mlL0.500.8L+0.2H

1700.6L+0.4H

3220.4L+0.6H

4820.2L+0.8H

645170

170

161321

321.5

322480

481

483652

648.5

644803

804

8050.9999

>0.951mlH805R相关系数b10.996

0.97～1.3符合b

=3.3571,

t=b

/s=1.7750t<t0.05过原点0结论：标本状态良好无干扰的情况下，AST的测定结果在0～805

U/l

范围内呈线性。5、应用实例：多项式回归法（1）

线性验证时应考虑到随机误差的影响，分析系统的随机变异会导致非线性的评估能力减低。因此，首先用所有重复测量结果的集合方差的相对误差（CVr）来评价这方面的影响。表1

线性评价标本配制配制方式重复

重复项目

序号均值

Diff

%

Diff

%

Diff2/2

C

Vr0

0.0000

0.000080.5

-3

-0.0373

0.0007121235L5554L+

1H

82793L+

2H

161

160

160.5

-1

-0.0062

0.00002L+

3H

237

238

237.5

1

0.0042

0.00001L+

4H

316

313

314.5

-3

-0.0095

0.00001.2