EP05-A3 型定量测量程序精度的评定.已批准的指南第二版_第1页
EP05-A3 型定量测量程序精度的评定.已批准的指南第二版_第2页
EP05-A3 型定量测量程序精度的评定.已批准的指南第二版_第3页
EP05-A3 型定量测量程序精度的评定.已批准的指南第二版_第4页
EP05-A3 型定量测量程序精度的评定.已批准的指南第二版_第5页
已阅读5页,还剩68页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2014年9月

EP05-A3型

定量测量程序精度的

评定.已批准的指南第

二版

本文件提供了评估定量测量程序精度性能的指南。它适用于定量测量程序的制造商和开发或修改此类程序

的实验室。

通过临床和实验室标准协会共识过程制定的全球应用指南。

临床和实验室标准协会

为全世界的临床实验室测试制定质量标准。

临床和实验室标准研究所(CLSI)是一个非营利的成员组织,它汇集了世界实验室界的各种

观点和专业知识,以促进一项共同事业:通过制定和实施临床实验室标准和标准,培养检验

医学的卓越水平指导方针,帮助实验室以高效、有效和全球适用性履行其职责。

共识进程

协商一致意见-受重大影响、有能力和相关方达成的实质性协议是所有CLSI文件编制的核心。

它并不总是意味着一致同意,而是意味着拟订协商一致文件的参与方已审议并解决了所有有

关的反对意见,并接受由此产生的协议。

评论文件

CLSI文件接受定期评估和修改,以跟上影响实验室或卫生保健的技术、程序、方法和协议的

进步。

CLSI的共识过程取决于自愿作为贡献作者和/或作为评审和评论过程参与者的专家。在每个

评论期结束时,编写文件的委员会有义务审查所有评论,对所有实质性评论作出书面答复,

并酌情修订文件草稿。

对已出版的CLSI文件的评论同样重要,任何人都可以在任何时间就任何文件提交评论。所

有意见都由专家委员会根据协商一致程序处理。

申诉流程

如果认为异议没有得到充分解决,申诉程序将记录在CLSI标准制定政策和程序文件中。

就草稿和已出版文件提交的所有意见和答复将保留在CLSI的文件中,并可根据要求提供。

参与志愿者!

您是否在工作场所使用CLSI文件?您是否认为有改进的余地?您是否希望参与修订过程?

或者您是否认为有必要为CLSI希望从您那里听到的新兴技术开发新的文件。我们一直在寻

找志愿者。通过贡献你的时间和才能来提高影响你自己工作的标准,你将在改善全球公共卫

生方面发挥积极作用。

有关委员会参与或提交意见的更多信息,请联系CLSI。

临床和实验室标准协会

西谷路950号2500室

美国宾夕法尼亚州韦恩19087

P:610.688.0100美元

F:610.688.0700美元

standard@

第34卷第13期

定量测量精度的评定

程序;批准的指南第三版

RobertJ.McEnroe,博士;A.PaulDurham;MarcD.Goldford;MarinaV.Kondratovich,博士;SamirLababidi,

博士;RobertMagari,博士;JonathanGuyMiddle,博士;JamesF.PiersonPerry;JefreyE.Vaks,博士

摘要

临床和实验室标准协会文件EP05-A3-定量测量程序精密度评估;批准的指南第三版提供了评

估体外诊断定量测量实验设计精密度的指南,并包括建立精密性能的建议。

包括指导方针的持续时间,实验设计,材料,数据分析,总结和解释技术适用于广泛的测量

和系统的复杂性。这些指南适用于临床实验室测量程序的制造商或开发人员,以及希望确定

其自身性能的用户。文件中在设计和分析的复杂性与操作的简单性之间建立了平衡。

临床和实验室标准研究所(CLSI)。定量测量程序的精度评估;

批准的指南第三版。CLSI文件EP05-A3CISBN1-56238-967-X[打印];ISBN1-56238-968-8[电子])。

美国宾夕法尼亚州韦恩市西谷路950号2500室临床和实验室标准研究所,邮编:19087。

TheChnoiandLatxxacxyStandardsinsrituteconsensusprocess,whchtsthemechantsnformonga

documentthroughtwoormarelevelsofreview,theheathcarecommunity,.&anangongprocessUser^

shouOexpertrevisededitionsofanygwndocixnert.auser<xjchangesm<eathe

procedumechocKprotocolsinaftandardorgudelne.usersshouUreptoceouid&ededitenswth

thecurrer*edtensefCLSIdocumert^CurrentaftiorBarefetfedntheCIS!catalogandpottedoncxr

wefisteaturww.clsiorg.

Vyouoryourorgan-tsnotammberandwouldIketobecomeone;andtorequesacopyefthe

caraeccontaausar

P:610688.0100Fi610683.0700E:customeservce9ctSiOfgWiwww.cfi.or^

版权所有©2014临床和实验室标准协会。除下文所述外,任何复制CLSI版权标准、指南、

配套产品或其他材料的内容都需要CLSI的明确书面同意。版权所有。有关各方可向

permissions@o

CLSI特此授权各成员或采购商在同一地点复制本出版物,以便在其实验室程序手册中使用。

若要请求以任何其他方式使用此出版物的权限,请发送电子邮件permissions@o

建议引文

CLSI公司。定量测量程序精度的评定.批准的指南第三版。CLSI文件EP05-A3。宾夕法尼亚州

韦恩:临床和实验室标准研究所;2014年。

拟议准则

1981年12月

暂定准则

1982年12月

批准的指南

1999年2月

批准的指南第二版

2004年8月

批准的指南第三版

2014年9月

委员会成员

评估协议协商一致委员会

JamesF.PiersonPerry:美国特拉华州纽瓦克市西门子医疗诊断公司董事长

MitchellG.Scott博士:美国密苏里州圣路易斯市巴恩斯犹太医院副院长

卡尔・德沃尔:美国加利福尼亚州欧文市生物辐射实验室

RobertJ.McEnroe博士:美国印第安纳州印第安纳波利斯罗氏诊断公司

JamesH.Nichols,博士,DABCC,FACB:美国田纳西州纳什维尔范德比尔特大学医学院

GenePennello博士:美国马里兰州SilverSpring,FDA设备和放射健康中心

梅根E.索楚克,MT(ASCP):美国佐治亚州亚特兰大市疾病控制和预防中心

精密度评定文件编制委员会

RobertJ.McEnroe博士:美国印第安纳州印第安纳波利斯罗氏诊断公司董事长

VictorR.DeJesus博士:美国佐治亚州亚特兰大市疾病控制和预防中心

马克戈德福德:也诊断,南本德,印第安纳州,美国

WalterW.Hauck博士:USP,美国马里兰州洛克维尔

金明博士:美国伊利诺伊州芝加哥伊利诺伊大学医学中心

SamirLababidi博士:美国马里兰州罗克维尔FDA生物制剂评价与研究中心

罗伯特・马加里博士:贝克曼・库尔特,美国佛罗里达州迈阿密

JonathanGuyMiddle博士:英国伯明翰

JamesF.PiersonPerry:西门子医疗诊断公司,美国特拉华州纽瓦克

工作人员

美国宾夕法尼亚州韦恩临床和实验室标准研究所

LuannOchs,MS:高级副总裁-运营Staf联络

RonS.Quicho,MS:项目经理,MeganL.Tertel,文学硕士编辑经理

JoanneP.Christopher,文学硕士编辑

帕特里斯正・波尔加编辑

致谢

CLSI和评估协议协商一致委员会感谢以下人员在编写本文件时提供的帮助:

A、PaulDurham;APD咨询公司;美国加利福尼亚州卡尔弗市;MarinaV.Kondratovich博士;

FDA设备和放射健康中心;美国马里兰州银泉;JefreyE.Vaks博士;罗氏分子系统公司;美

国加利福尼亚州普莱森顿;

前百

目前的临床实验室文献包含了许多产品评价的例子。对于描述基本精度类型,许多示例使用

本指南中讨论的基本概念、设计和分析。在特殊情况下,更复杂和定制的实验设计已用于已

发表的研究和监管目的。然而,临床实验室界仍然强烈需要本文件中描述的基本原理和方法

来评估定量测量程序的精度性能特征。

目前可获得的体外诊断设备的巨大多样性使得不可能为所有测量程序和相关设备推荐单一

的实验设计。然而,对材料、程序、数据分析和解释的要求必须适用于尽可能广泛的被测量

物和仪器。在制定本文件中的标准化方案时,仔细考虑了许多关于持续时间、包括QC程序

和确定相关变异源的方法的建议。由此产生的协议代表了设计和数据分析的复杂性、实现的

简单性和效率之间的平衡。

本文件旨在提供符合其他国际共识标准的一般性指导。

关键词:

方差分析、评估方案、实验设计、不精确性、异常值、精密度、精密度曲线、质量控制、重

复性、再现性、实验室内精密度

变更概述

第三版缩小了EP05的范围,将其对单点试验设计的讨论限制在适用于建立或验证精度性能

特征的程序上。因此,EP05现在主要面向制造商和开发商。可在CLSI文件EP15中找到最终

用户实验室验证重复性和实验室内精度要求的建议。该指南中的精密度验证方案是为与

EP05的单点研究设计兼容而定制的。

EP05以前版本中熟悉的单点方案要求在20天内进行测量,对于给定的样品、试剂批次,每

天两次,每次两次,等-作为标准化实验保留在第三版中,供制造商和开发人员用于评估测

量程序(或“分析")的重复性和实验室内(设备内)精度。

无论这些性能特征是如何确定的,重要的是评估是可验证的,并且它们在相当长的一段时间

内以及在大多数分析规定的测量间隔内表征了精密度。EP05中描述的单点实验设计满足这

些要求(见第3章)。预计最初的"20x2x2”设计将继续为临床实验室使用的绝大多数定量

分析服务。然而,关于如何根据变异来源及其相对大小和相互关系优化给定分析的设计,增

加了广泛的指导(见第2章)。

此外,为了认识到目前使用的各种定量装置在性质和复杂性上存在差异,还讨论了20x2x2

设计的变体。附录C专门介绍了高级模型一一当双因素设计不能正确处理影响实验室内精密

度的主要变异源时使用的多因素设计。根据分析的不同,这些模型中的一些模型也应证明对

制造商有用,因为它们可以在分析开发和优化期间以及在分析进入常规生产之后得出见解。

EP05的新功能是第二个标准化实验:一个多站点协议调用,最少5天在三个站点重复测量。

描述了3(站点)x5(天)x5(每天复制)和3(站点)x5(天)x2(每天运行)x3(每次

运行复制)的实现(见第4章)。该辅助方案解决了现场间的可变性和再现性估计。当由于

分析的性质和/或监管要求可能需要进行此类研究时,它已针对验证新分析的适用性进行了

定制。

为了帮助促进对基本概念的理解,新版包括一个广泛的非统计学家教程(见第1.5节)。附

录中给出了一个20x2x2单点研究和一个完整的3x5x5多点研究的数值例子。

与国际标准的一致性

EP05与ISO5725系列标准,特别是ISO5725-3中的建议基本一致。2EPO5的单点研究包含

了ISO5725-2中的基本概念。3虽然ISO5725的观点主要强调实验室间的变异源,但EPO5

侧重于实验室内随时间累积的变异源。然而,EPO5最新引入的多地点研究解决了不同地点

的来源和再现性估计。

此外,虽然ISO5725系列要求在整个测量间隔内表征重复性和再现性,但EP05中鼓励(但

不要求)这一点。

重要提示:

由于本指南中计算的复杂性,建议用户使用计算机和统计软件,如StatisPrc/MCLSI方法评价

软件。

第一章引言

本章包括:

>文件范围和适用除外条款

>与文件内容有关的背景资料

>标准预防措施信息(如适用)

>术语说明

>定义

>缩写和首字母缩略词

1.1范围

本文件为旨在确定临床实验室中使用的定量测量程序的现场内精度性能特征的研究以及解

决现场间可变性的研究提供了指南。描述了多种实验方案,以及如何选择和优化最适合特定

测量程序(或"分析")及其预期用途的方案。

1.1.1预期用户

本文件的预期用户为:

>希望确定其精度特性的新测量程序的开发人员,无论是希望将产品分发给多个实验室的

制造商,还是为自己使用而开发产品的临床实验室

>修改现有分析并因此需要重新评估其精度性能的最终用户

>希望了解如何建立精度性能评估和/或希望自己执行严格精度评估的用户

A需要先进方法(见附录C)的制造商,以便在分析开发、优化和常规制造过程中更深入地

了解定量测量程序的精度特性

假设本文档的读者对统计数据分析有一定的了解,包括基本方差分析(ANOVA),或者可以

访问统计支持资源。第1.5节简要介绍了所涉及的几个基本概念;而CLSI文件EP151则详

细讨论了单向方差分析。

1.1.2使用限制

那些只希望验证制造商关于定量临床测量程序精度的声明的人应遵循CLSI文件EP15中的指

南。

本文件中的协议可能不适用于某些不存在适当试验材料的定量测量程序。特别是,标准化的

单点和多点程序不直接适用于涉及稳定性不足(例如,红细胞计数或血气测定)和/或体积

不足(例如,组织样品的荧光原位杂交或免疫组织化学测定)的样品的测量程序。

假设分析过程是稳定的,在数据收集期间不会发生样品或试剂降解。这导致了一个假设,即

测量结果的变化是随机的,来自每个被考虑的来源的变化是独立的和正态分布的。CLSI文件

EP25中说明了试剂降解的评估。CLSI文件C56中说明了样品降解的评估。

本文件提供了定量测量程序和仪器的使用指南,包括定性测定所依据的程序和仪器。然而,

完全定性测量程序或仪器的精度性能评估超出了本指南的范围。对于此类评估,请参阅CLSI

文件EP12o

1.2标准预防措施

由于通常不可能知道哪些分离物或标本可能具有传染性,因此所有患者和实验室标本都被视

为具有传染性,并根据"标准预防措施”进行处理。标准预防措施是结合"普遍预防措施和身

体物质隔离”做法主要特点的指南。标准预防措施涵盖所有已知传染源的传播,因此比普遍

预防措施更为全面,普遍预防措施仅适用于血源性病原体的传播。疾病控制和预防中心在已

出版的指南中阐述了这一主题,该指南涉及人类和动物医学中诊断医学的日常操作,同时鼓

励实验室的安全文化。有关防止所有已知传染源从实验室仪器和材料传播到实验室的具体预

防措施,以及所有已知传染病暴露管理的建议,请参阅CLSI文件M29。

1.3术语

1.3.1术语说明

作为标准化领域的全球领导者,CLSI坚定地致力于尽可能实现全球统一。协调是一个认识、

理解和解释差异的过程,同时采取措施实现全球统一。CLSI认识到,全球计量界的医疗公约

在美国、欧洲和其他地方的演变有所不同;这些差异反映在CLSI、国际标准化组织(IS。)和

欧洲标准化委员会(CEN)的文件中;法律要求使用术语,区域使用和不同的协商一致时间

表都是协调过程中的重要考虑因素。有鉴于此,CLSI制定和修订标准和指南的协商一致过程

侧重于术语的协调,以促进标准和指南的全球应用。

在EP05中(从第二版指南EP05-A2开始),术语"总精密度"被替换为实验室内精密度或设

备内精密度。可以使用这些新的首选术语中的任何一个。

在EP05中,再现性包括与多个实验室和/或多个仪器相关的变异源,以及影响实验室内精密

度的变异源。这与ISO特性有些不同。在IS。框架内,"再现性”精度类型必须包括不同的位

置、不同的操作员和不同的测量系统(仪器)。另一方面,国际标准化组织框架对时间没有

任何要求,而在这里采用的定义中隐含着至少需要五天的时间。

1.3.2定义

化验-参见测量程序。

平衡的-描述一个实验设计或数据集,其中所有细胞("治疗组合")具有相同数量的观察结

果。如果该条件不成立,则设计或数据集是不平衡的;注:具体而言,对于本指南第3章和

第4章中讨论的那种精度研究,如果对任何给定的样本,它规定了相同的每次重复次数;每

天相同的次数,则实验设计是平衡的;以及,对于多地点研究,每个地点的天数相同。否则,

设计就不平衡了。(请注意,主文档中建议的所有设计都是平衡的。)如果相应的数据集在

每次运行、每天和站点上具有相同数量的结果,即如果设计是平衡的,并且分析中没有遗漏

或遗漏任何结果,则相应的数据集是平衡的。否则,数据集是不平衡的。

交叉的-在多因素研究的设计中,如果因子a的某些效应与因子B的多个效应同时出现,则

称因子a的效应与因子B的效应交叉;例如:如果在多个地点中的每个地点研究的试剂批在

各地点中是共同的,则试剂批与地点交叉。如果因子A的每个效应都与因子B的每个效应

同时出现,则因子A和B完全交叉。

不精确-一组重复测量值和/或数值的随机离散,用统计数据定量表示,如标准差或变异系数。

重要提示:

在EP05中,术语总精度被替换为实验室内精度或设备内精度。可以使用这些新的首选术语

中的任何一个。

中间精度-一组中间精度测量条件下的测量精度(JCGM200:2012)□9

中间精度条件-在某些不同的操作条件下,在同一试验或测量设施的相同试验/测量项目上,

以相同方法获得试验结果或测量结果的条件;注1:操作条件有四个要素:时间、校准、操

作员和设备(ISO3534-2)10;注2:必须注意操作条件中的变化元素;这可能包括通常所称

的精度估计,例如"运行间隔"、"日内"、"日间"、"装置内"和"实验室内"

被测量-拟测量的量(JCGM200:2012)9;注1:术语"被测量物"和定义包括所有量,而常用

术语"分析物”是指需测量的有形实体。例如,"物质"浓度是可能与特定分析物有关的量;注

2:在"24小时尿液中蛋白质质量”的量类型中,"蛋白质"是分析物。在“血浆中葡萄糖物质的

量"中,"葡萄糖”是被分析物。在这两种情况下,长短语代表被测物(ISO17511)11;注3:

在"血浆中乳酸脱氢酶同工酶1的催化浓度”的类型中,"乳酸脱氢酶同工酶1"是分析物(ISO

18153)。12

测量程序-根据一个或多个测量原理和给定测量方法进行测量的详细说明,基于测量模型,

包括获得测量结果的任何计算(JCGM200:2012)9;注1:该术语适用于特定制造商销售的

特定程序。注2:在本文件中,"分析"有时用作"测量程序"的文体变体

测量间隔-在规定条件下,可由给定测量仪器或具有规定仪器测量不确定度的测量系统测量

的同类量的一组值(JCGM200:2012)9;注1:在某些领域,术语为“测量范围"或"测量范围”

(JCGM200:2012)9;注2:测量间隔的下限不应与检测限(JCGM200:2012)9混淆;注3:

这表示制造商验证IVD医疗器械性能特征的体外诊断(IVD)检查结果间隔;注4:以前术语

"可报告范围"或使用"测量范围";注5:验证IVD医疗器械性能特征的测量间隔被称为可报

告范围(ISO18113-1)13;注6:关于间隔和范围之间差异的讨论,见ISO18113-1)13的

a.2.11;注7:在美国,术语经常使用的是“分析测量范围";注8:在检验医学中,术语被定

义为"测量范围”或“分析测量范围";注9:对于本文件,指满足测量程序可接受标准的数值

范围(单位适用于被测物);即,线性区间的交集,定量下限和上限限定的区间,以及表示

可接受不精确度的区间。

嵌套的-在多因素研究的设计中,如果因子a的每一个效应仅与因子B的一个效应同时发生,

则因子a的效应被称为嵌套在因子B的效应中;例如:一次运行中的复制不同于另一次运行

中的复制,因此复制被嵌套在运行中。

精度(测量)-在规定条件下对相同或类似物体进行重复测量得到的显示或测量量值之间的

一致性(JCGM200:2012)9;注1:测量精度通常用数字表示

通过不精确的测量,如标准偏差、方差或规定测量条件下的变异系数(JCGM200:2012)9;

注2:"规定条件"可以是,例如,测量的重复性条件,测量的中间精度条件,或测量再现性

条件(JSLISO5725-3:1994)2(JCGM200:2012)9;注3:测量精度用于定义测量重复性、中

间测量精度和测量再现性(JCGM200:2012)o9

重复性(测量)-一组测量重复性条件下的测量精度(JCGM200:2012)9;注:以前称为“运

行内精度”

重复性条件(测量)-一组条件中的测量条件,包括相同的测量程序、相同的操作员、相同的

测量系统、相同的操作条件和相同的位置,并在短时间内对相同或类似物体进行重复测量

(JCGM200:2012)9;注1:在同一实验室(或ISO15198中的“位置”)14中,同一操作员

使用同一设备,在短时间间隔内,使用相同样品的相同测量方法("试验项目"ISO15198)14

获得独立测量结果的条件。就ISO17593而言,15"实验室"应解释为"位置"(ISO17593)15;

注2:基本不变的条件,旨在表示导致试验结果最小可变性的条件(ISO15198)14;注3:

重复性可通过在重复性条件下进行的重复测量确定,也可通过在不同日期的不同运行中进行

的重复测量之间的差异确定。后一种方法用于本文所述的实验设计。

再现性(测量)-测量再现性条件下的测量精度(JCGM200:2012)9;注1:IS。5725-116和

ISO5725-23(JCGM200:2012)9中给出了相关统计术语;注2:更广泛地定义为在不同条件

下对同一试样重复测量之间的一致性;注3:在变化的条件下进行测量时,相同被测物的测

量结果之间的一致性;注4:变化的条件可能包括测量原理或方法、观察者、测量仪器、位

置、使用条件和时间。

再现性条件(测量)-测量条件,在一组条件中,包括不同位置、操作员、测量系统和对相同

或类似物体的重复测量(JCGM200:2012)9;注1:规范应给出在实际范围内改变和不变的

条件(JCGM200:2012)9;注2:更改的条件可能涉及不同的批次、运行、时间(天)、技

术人员等;注3:在化学中,术语"实验室间"、"实验室间"或“实验室间精密度"测量条件有

时用于表示这一概念。

不平衡-请参见平衡。

(测量的)不确定度-基于所使用的信息,非负参数,表征被测量量值的离散度(JCGM

200:2012)。9

1.3.3缩写和首字母缩略词

%以百分比表示的变异系数

%重复性变异系数

%实验室内变异系数

方差分析

CB置信带

欧洲标准化委员会(欧洲标准化委员会)

置信区间

置信水平

DF,DF自由度

可重复性的dfR自由度

dfREP再现性自由度

实验室内精度的dfWL自由度

酶联免疫吸附试验

均方期望值

ISO国际标准化组织

体外诊断

LLMI测量间隔下限

检测限

定量限

平均绝对偏差

MINQUE最小范数二次无偏估计

最小方差二次无偏估计

MS均方

PI文件包说明书(或同等文件)

PT能力验证

QC质量控制

限制极大似然

标准差

SS平方和

测量间隔上限

Var方差

1.3.4符号

口总体(或“真”)指

x样本平均值

X卡方2

置信度和自由度的卡方分布的X分位数2中心线,测向

1.4精度评估过程概述

图1显示了定量测量程序精度评估过程的基本概述。

需要进行精密度评估;评估变异来源;选择和优化研究方案;进行初步检查;完成实验步骤;

检查数据完整性;分析数据;总结结果;结束

1.5基本概念介绍

科学和统计专业知识对于设计一个合适的实验或一组实验,以确定分析的基本精密度特征是

必不可少的。将此任务视为开发人员和统计学家之间的协作。作为主题专家,开发者扮演着

重要的角色。即使统计学家负责实验设计和分析的技术细节,开发人员也必须至少对相关数

据分析概念有初步的了解,以便进行建设性的对话。

本节主要针对那些具有相关科学专业知识的分析开发人员、实验室人员以及其他可能不具备

强大统计背景或希望审查与分析数据相关的主要统计概念的人员。它提供了相关的术语和概

念的介绍,建立在临床实验室常规质量控制的经验。这里介绍的概念包括:

>不精确性的可变性和常用度量

>变异的来源(有时称为决定因素或因素)

>方差分量和混杂

>嵌套(即分层)设计

>平衡与非平衡实验设计与数据集

>方差分析

>统计模型及其常用的符号表示法

A精度估计不确定度的度量和指标:置信区间(CI)、自由度(DF)

本节还介绍了本指南中采用的精度类型词汇-重复性、实验室内精度、再现性-以及与IS。精

度和不确定度术语的关系。此外,它还概述了第3章和第4章更全面描述的两个标准化实验

设计。

本文件强调了以下各项的重要性:

>预先确定与分析相关的主要变异源。

>必要时,定制实验的设计和大小,以确保每个源都具有足够的彻底性,从而产生对所讨论

精度类型的适当精确估计。

第2章提供了优化标准化实验设计的指导,以反映分析精度性能的主要决定因素。对于更复

杂的情况,附录C提供了可定制的多因素设计的深入讨论。

注:

开发人员有责任确定与分析相关的主要变异源。

1.5.1变异性和变异来源

定量临床实验室程序的特点是显示重复测量结果的可变性。这应该是熟悉的内部质量控制和

外部能力验证(PT),以及从简单的实验,其中一个样本的几个复制品在一个单一的运行测

试。

X.

/'

Levey-Jennings图表,17-19广泛用于监测实验室内分析性能的各个方面,通过绘制垂直轴上

的单个QC结果与水平轴上的时间来显示可变性(见图2)。当分析按预期进行时,各点的

整体垂直分散度表示在样品浓度(或更一般地说,其被测量水平)下分析的实验室内精密度。

这种可变性可以通过计算一系列质量控制结果的平均值和标准差来量化,这些结果是在相当

长的一段时间内产生的,例如一个月。

缩写:MTWTF,星期一星期二星期三星期四星期五;QC,质控。

图2。莱维・詹宁斯的阴谋。该图描述了为建立QC材料的初始值(平均值,SD)而生成的测量。浓度在左轴

上表示。Levey-Jennings量表表示与整体平均值的偏差,单位为标准差单位,在右轴上表示。时间点表示在

水平轴上。(此图仅作为某些基本统计概念的说明。参考CLSI文件C2420,获取内部质量控制指南。)

其他直接相关的可变性或离散性度量也常用。SD可以通过简单的平方来重新表示为方差:

Var=SD»SDo当平均值>0时,变异性也可以用相对项表示,变异系数用百分比表示:%CV=

(SD/平均值)・100。以均值和方差形式出现的统计输出可以根据需要转换为均值和SDs,或

均值和%CV。(根据经验法则:基本计算,如结合精度估计,最好根据方差进行,而SDs通

常更适合于临床解释,如评估序列测量中变化或趋势的重要性。和%CVs可能是有用的,例

如,在以图形方式总结宽区间内精度的浓度依赖性时,如附录B中的图B3和B4所示。)

一在一个简单的实验中,方差为var=(席)x2(n=l)。请注意,这是方差的“无偏"估计,它略大于N个

结果与其平均值的平方偏差的平均值,因为分母中是N-1而不是N个数字。

注:

作为经验法则:基本计算,如结合精度估计,最好是在方差方面进行,而SDs通常更适合于

临床解释,例如在评估序列测量中变化或趋势的重要性时。和%CVs可能是有用的,例如,

在以图形方式总结宽区间内精度的浓度依赖性时,如附录B中的图B3和B4所示。)

对于大多数分析,单次试验中显示的变异性通常小于常规QC中随时间变化的变异性,而典

型PT试验中显示的变异性更高。直观地说,这是意料之中的,因为影响实验室内精度的变

异源比影响运行内精度的变异源更多("重复性"),而且影响实验室间精度的变异源比影响

实验室内精度的变异源更多。

通过举例说明,图2中的数据集显示出明显的结构,即总体变异性似乎来自两个不同的来

源:相当均匀的日常变异性,即五个连续的五个结果簇中的每一个都具有基本相同的垂直离

散性,并由随机的周到周覆盖易变性。将第二个变异源指定为"周"符合所展示的模式,但解

释力不大。更具体地说,轮班可能反映每周的重新校准或维护事件、试剂更换、操作员轮换

等,或者更可能是这些因素和其他决定因素的某种组合。分析开发人员和实验室人员处于最

佳位置来解决这一问题:在设计用于评估精度的实验时,他们应考虑所有重要的可变性来源。

只要一周到一周的变化反映了两个或多个来源的组合,这些来源在图2所示的实验设计中

是混淆的。特别是,"天"和"运行"对总体可变性的贡献是混淆的,因为设计只涉及每天一次

运行。换言之,5x5的实验设计对应于5周、每周5天、每天一次的QC结果集,无法解决

(即,对)这两个变异源的问题。此外,由于设计每次运行只涉及一个重复,因此即使运行

内决定因素导致总体可变性,也不能产生运行内不精确性的估计(这不是常规QC的任何缺

点)。

1.5.2实验设计

本指南描述了两个基本的标准化实验,适用于建立或验证精度性能的大多数定量分析,也适

用于其他情况。这些精度评估实验旨在以受控方式估计在三组条件下实际观察到的变化:

1)实验室内的日常工作,2)实验室间,3)运行条件内。简而言之:

>第3章中讨论并在附录A中说明的单点研究涉及在20天(不一定连续)对多个样品进行

分析,每天两次,每次两次重复:20x2x2设计。统计分析将与"天"和"运行"相关的变

异源视为因素(见第1.5.4节);并得出两种精度类型的估算值:重复性(运行内精度)

和实验室内精度(设备内精度)。对于大多数临床应用,后者的相关性通常远远大于可

重复性。20x2x2设计的合适变体包括20天以上的设计、每次运行两次以上(部分或

全部天数)的设计,等等。对于某些设备,每天可能只需要运行一次。或者,使用特定

的测量程序,可能每天只执行一次运行。以20天为基础的设计,每天一次,如果可能

的话,在上午和下午交替进行三次(或四次)重复,仍然可以估计两种精度类型的兴趣。

与20x2x2设计相比,20x1x3设计将有效地具有与重复性估计相同的数据量。然而,

由于只有一半的运行次数,预计实验室内的精度估计将显示出更大的不确定性;如果需

要,则无法估计日内-运行间方差分量,因为日和运行是混淆的。

A第4章讨论并在附录B中说明的多地点研究涉及在五天(不一定连续)在三个或更多“地

点”分析多个样品,每天一次,如果可能,在上午和下午之间交替进行,每次五次重复:

3x5x5设计。统计分析将“地点"和"天数"(或"运行")视为因素,并得出第三种精度类

型的估计值,即再现性。这尤其适用于手动和部分自动分析,其中操作员对操作员、仪

器对仪器和/或实验室对实验室的变异性可能发挥重要作用。相对简短的标准化实验主

要是为了解决可能出现的关于实验室或仪器间分析精密度性能稳健性的疑问。请注意,

在一项每天只进行一次的多地点研究中,"日"和"运行"是混淆的,这意味着虽然它们的

贡献包括在再现性估计中,但不能单独估计。本指南不要求解析或量化所有有助于精确

估计相关变量的来源。"如果这三个地点分别使用不同的试剂批次,那么"地点"和"批次"

同样会混淆一一这是一个通常不受欢迎的研究设计,尤其是对于新技术,因为这样就无

法从结果中确定观察到的差异是与批次相关还是与地点相关。如第4章所述,3x5x5

设计的合适替代方案包括相同的地点和天数,但每天两次,每次重复三次:3x5x2x3

设计,其重复性大小实际上与3x5x5设计相同,但需要基于三个因素而不是两个因素

进行统计分析。3x5x5设计的其他合适变体仅涉及增加站点和/或天数。可接受的再现性

研究至少应包括三个地点,至少五天,重复性至少为20DF。(重复性和DF的概念分别

见第1.5.3节和第节。)

重要提示:

在一项每天只进行一次的多地点研究中,"日"和"运行"是混淆的,这意味着虽然它们的贡献

包括在再现性估计中,但不能单独估计。

重要提示:

对于大多数临床应用,实验室内精度(设备内精度)通常比可重复性(运行内精度)具有更

大的相关性。

工作中潜在的变异来源及其相对大小在不同的分析中可能会有很大的不同,即使是对于相同

的被测物。特别是,20x2x2研究中的时间天数,5x5QC基础说明中的周数必须被视为影

响可变性的许多更具体决定因素的替代物。

标准化检测天数不能确保对所有分析采用相同的变异源,或采用相同程度的变异源。止匕外,

在一种来源与另一种来源的相对影响(幅度)方面,分析也有所不同。定期校准提供了一个

例子;分析在需要重新校准的频率和校准事件代表主要或相对次要的变化源的程度上有所不

同。(详见第154.2节。)

因此,在确定一个或多个实验设计以评估分析的精密性能之前,开发商应根据知识和/或初

步数据进行评估,以确定相关分析和可能的结构相似分析,并确定代表最重要变异来源的决

定因素。第2章提供了如何将此评估应用于制定精度评估研究细节的指南。附录C阐述了

更复杂的分析研究设计,其中两个标准化的实验设计不能公正地处理导致感兴趣的精密度类

型的主要变异源。

1.5.3精度类型

本指南中的两个标准化实验提供了三种临床相关精密度类型的估计值:重复性、实验室内精

密度和再现性,根据实验条件和/或与之相关的变异源进行定义:

注:

定期校准提供了一个例子;分析在需要重新校准的频率和校准事件代表主要或相对次要的变

化源的程度上有所不同。参见第节中的附加讨论。

>可重复性(以前称为批内精密度)大致相当于通过直接从单个批中对给定样品的几个重复

品进行快速连续测定得到的结果中计算SD来估计的结果,所有实验条件基本保持不变。

这符合ISO分类方案中的可重复性概念,因为测量是在短时间内收集的,所有条件包括

操作员、测量系统、位置等都尽可能保持不变。因此,可重复性实际上代表了分析的基

线"噪声":在给定浓度水平下,它在常规实践中能够达到的最低不精确度。造成这种“噪

音"的一些常见变异源是样品和试剂移液体积的随机变异;其他来源是分析和/或系统特

定的。在这两个标准化实验中,可重复性估计实际上是通过对几个独立的运行内估计进

行"平均"(以某种方式)得出的,例如,在一个20x2x2的单点研究中,用40次小运行

(每个重复两次)获得的方差表示的估计。为了评估重复性,本实验设计产生的不确定

度估计值与基于N=41个重复的单次运行的研究得出的不确定度估计值大致相同(因为

41-1=40DF,如第节所述),但更具代表性,因为它不存在反映特定跑步或一天

的特质的风险。

>实验室内精密度(又名"设备内”精密度,以前在EP05的第一个批准版本中称为"总”精密

度)在ISO框架中被归类为"中间"精密度类型,因为某些条件保持不变,但不是所有条

件。特别是,本指南中所述的单点20X2X2实验保持了位置和仪器常数,同时对重复

性(即运行内)变异源和在适度延长的时间内影响分析的额外变异源进行了试验。假设

一周工作五天,这项研究预计需要26至28天,或一个月的大部分时间才能完成。此

外,实验规定的天数恰好符合共同建议(即Westgard和CLSI文件C24)19,20,即通过

(至少)20天的测量确定QC材料的初始值(SDs以及平均值)。因此,实验室内精密

度类型大致相当于可比时间段内一系列内部QC结果的估计值。事实上,像图2所示的

数据集中总体可变性的简单度量表示实验室内精度的估计。因此,在单点20x2x2研

究中确定的SDs和%CV应是常规QC中观察到的SDs和%CV的良好预测因子,反之亦

然,除非重要的变异来源在一个上下文中表示,而不是在另一个上下文中。然而,请注

意,一般建议(即,Westgard和CLSI文件C24)19,20最终用基于长期累积数据的统计

数据取代初始QC值,这些数据反映了初始评估中仅表面上或根本不存在的额外变化来

源。

>术语说明中解释的再现性包括与多个实验室和/或多个仪器相关的变化源,以及影响实验

室内不精确性的来源。这与ISO特性有些不同。在ISO框架中,只有在包含不同位置、

不同操作员和不同测量系统(仪器)的情况下,精密类型才被归类为"再现性"精密类型。

另一方面,ISO框架对时间没有任何要求,而这里采用的定义隐含着一段时间,至少包

括五天。

测量不确定度说明:标准化EPO5不精密度研究中给定浓度水平下的实验室内精密度或甚至

再现性的估计值必须仅被视为与常规临床实践相关的真实世界不精密度的下限,包括某些长

期和非常长期的变化源(如试剂)的影响批次和校准品批次,在基本精度评估研究中通常会

被低估,因为它们要么被排除在设计之外,要么最多被赋予标记表示。出于这个原因,也因

为在估计所谓的测量不确定度时必须考虑其他来源(通常不被视为不精确性决定因素的其他

来源,而不是偏差),实验室内精密度或甚至再现性的估计也必须仅被视为该浓度水平下相

应测量不确定度的下限。测量不确定度的其他来源包括系统误差、标准化精密度研究中未包

括的一些预检查(分析前)误差、患者样本特定的基质效应(随机干扰)等(见CLSI文件

EP2921)oCLSI文件EP2921中讨论的测量不确定度表征了分析或通过分析获得的单个结

果。这必须与DF索引和Cis测量的不确定度概念(第154.2节中讨论)区分开来,后者表

征了精度评估实验中产生的或给定实验设计预期的精度估计的可变性。

1.5.4统计分析

理解统计模型

一旦开发人员评估了初步数据,以确定在评估分析精密度时需要考虑的那些变异源,就可以

确定或定制一个合适的实验来反映这种评估,并且可以开始测试。

然而,数据的统计处理必须基于ANOVA或一些基本等效的方法,这需要一个符号化的公式,

说明数据分析如何将研究中使用的复合变异源视为对所获得结果的贡献。作为一个例子,考

虑在一个20x2x2的研究中测试的样本。单个单次重复结果(Yik)可建模为该样本的平均

值(U)加上随机效应,即与平均值的随机偏差或"偏移",其中偏差被视为归因于两个不同

的因素,即每日变化源(di)和日内运行源(Rj(i)),除了运行源内的残余物(£k(i))o

单站点20x2x2设计要求在n天=20天、n运行=每天运行2次、nrep=每次运行2次时测

量每个样本。假设没有结果丢失,最终的数据集将总共有N=N天xN运行xNrep=80个结

果。统计学家对80个结果数据集进行建模,实际上使用了一组N=80方程,其形式如下:

Yijk=u+Di+Rj(i)+e(1)kap

对于i=l到n天,j=l到n次运行,k=l到n次重复,其中:

Yijk是第i天第j次运行中第k次复制的观测测量值

P是N=80次测量的平均值

Di是由于第i天的日常变化源引起的班次

rj(i)是第i天第j次运行中,由于运行到运行的日内源的班次

ek(ij)是第i天第j次运行中第k次复制的运行内源引起的偏移

这描述了一个随机效应或方差模型的组成部分。数据分析用于将方程(1)中的公式表示的

模型转换为观测数据,就像普通回归分析适用于方法比较数据的直线模型一样。这一过程产

生了斜率和截距等统计数据,表征了一种关系,而拟合随机效应模型则产生了方差分量的估

计值,可以结合起来产生可识别精度类型的估计值。

模型的嵌套(即层次结构)结构以图形方式显示在图3最上面的"comb"图中,其中复制嵌套

在运行中,运行嵌套在几天内。上述模型符号公式下标中的括号也表示嵌套(见第3.4节)。

图3。"梳理"图表”。这些代表了标准化的单站点20x2x2实验设计、标准化的多站点3x5x5和备用3x5

x2x3设计,以及通过图示使用的类似QC的5x5设计。所有这些都是嵌套(或分层)结构,例如,对于

20x2x2,复制嵌套在运行中,并在几天内运行。而且都是平衡设计。第一个和第二个设计分别涉及两个因

素,即20x2x2的天数和运行时间,3x5x5的地点和天数,因此这两个设计都可以通过双向嵌套方差分

析进行分析。最后两个设计分别涉及三个因素和一个因素,分别对应于三因素嵌套分析和单因素分析。

图中所示的四种实验设计都是平衡的。对于20x2x2方案,这意味着对于给定的样本,设计

要求在每次运行中分析相同数量的复制品,并且每天运行相同数量的复制品。每次运行的复

制次数恰好与每天运行的次数相同,但这并不是必需的,3X5X2X3设计也证明了这一点,它

同样构成了一个平衡的设计。请注意,基于平衡设计的研究可能不会产生平衡的数据集例如,

如果结果丢失或作为统计异常值被抑制,数据集将不平衡。

提醒:

嵌套模型也可以称为层次模型。

如图4所示,由于单点20X2X2研究中每个阶段的可变性而产生的随机偏差被建模为对单

个重复的观测测量结果的贡献。运行和天数被视为随机因素;剩余的(£k(i):"剩余误差"

或"误差项")对应于运行内的可变性。对于每个样本,标准化单点20x2x2和多点3x5x5

研究的经典统计分析双向(或"两倍"或"两水平")嵌套方差分析,或一些等效方法,首先解

剖给定样本获得的所有测量中观察到的总变异性,将变异性分为三部分与因子(此处为"日"

和"运行")和残差(£)相对应的方差分量。然后,它将这些组件重新组合,以生成所需精度

类型样本的估计值。

对于单点20x2x2研究,双向分析得出每个样本的三个方差分量估计:

>运行源内的可变性(即"残余误差"或"测量程序噪声")

>可归因于日内运行到运行源的额外可变性

>可归因于日常来源的额外可变性

运行内组件用作重复性估计。实验室内精密度估计值作为组合计算,特别是作为所有三个方

差分量的总和,因此将此精密度类型的旧名称命名为"总精密度"。术语"总精密度"可能会产

生误导,因为根据定义,实验室内的精密度不包括实验室间的变异源,在实践中,这种精密

度类型的估计很少或根本不考虑试剂和/或校准品的批间变异和其他潜在的主要变异源。

关于统计建模的补充说明

A再现性研究为现场(即实验室和/或仪器)添加了一个新术语S,同时删除R术语(除非

每天进行一次以上的运行)并相应地调整下标。再现性估计再次作为所有三个方差分量

的组合进行计算。(该模型的符号说明见第4.4节。)

>通过修改术语和下标,可以以类似的方式构建以其他变化源为因素(如校准事件和试剂批

次)的设计模型。参见附录C,其中也涉及交叉设计和嵌套设计的模型。(关于交叉设

计和嵌套设计之间的区别,见第1.3.2节和附录C。)

注:

交叉设计和嵌套设计之间的区别见附录Co

>将图2中的示例性QC数据集作为5X5实验的输出,可以将单个结果建模为平均值加上

"因周"产生的随机位移(Wi项)和另一个表示周内残差的变异性(所谓的误差项,£j

(i)):Yij=n+Wi+£(2),i=l到n周,j=1到n天,其中n周=n天=5。因为只有一个

因素(不计算剩余的“剩下的"来源),处理这些数据的自然方法是单因素方差分析。方

差分析得出两个方差分量的估计值,这两个方差分量可以组合在一起,从而得出在质量

控制上下文中本金利息精度类型的估计值。j(->

图4。方差分解。20x2x2研究中的单个结果Yik(即单个重复的结果),建模为偏离样本平均值U的向量

和Di+Rj(i)+ek(i),这是由于三个随机变化的复合来源的组合效应,即每天(D),每天(R)内的运

行,分布特征分别为。D、OR和。£的方差分量。粗的单头箭头表示总体偏差(总偏差)和三个源特定偏差

(偏移)的大小和方向。细的双头箭头代表各自SDs的大小。

置信区间和自由度

统计分析不仅产生了与所关注的精度类型相对应的方差分量和组合的估计(单值)点估计,

而且还产生了包含这些估计的CI。一个CI可以被认为是一个(两值的)区间估计值,用于

方差分量或精度类型的大小,它的宽度表示实验成功地将该大小锁定的范围有多窄。就实验

"抽样变异"而言,Cis用于表征估计的不精确性或不确定性。因此,通过对实验规模进行适

当的调整,可以在一定程度上控制Cis:在相关维度上较大的实验可以预期减少抽样变化的

影响,从而产生更精确的估计,如相应较窄的Cis所示。

对于给定的置信水平(CL)-通常为95%-精度估计的a由(a)点估计本身和(b)统计学家

称之为DF(其自由度)的数字确定,该数字可以被认为是对估计数据量的索引:与估计相

关的实验的有效大小有问题。b在最简单的情况下,DF=N-1。(回想一下,"N-1"也出现在

方差和标准差的公式中。)这适用于具有N个值且没有明显结构的数据集,因此可以认为该

数据集来自均匀过程,是随机变化的单一来源。这里的解释很简单。CI的宽度是估计不确定

性的度量。更大的实验(增加N-尺寸)可以预期产生更精确、更具信息量的精度估计,即具

有更窄CI的估计,因此不确定性更小。

因此,N-size和DF都可以作为精度估计的不精确性或不确定性的自然指标。

对于精密度研究,当实验规模的指标必须分配给多个变异源或精密度类型时,DF概念变得

独特,并且其本身就很重要。例如,当考虑图2中质量控制数据的表观结构时,有两种不同

的变化来源:一周到一周和一周内。同样有趣的是它们的"总和”,它对应于直接计算数据集

作为一个整体的标准差的目的是评估什么。数据集本质上是多维的,需要多个数字来描述其

大小。在本图中,需要两个数字,每个数字对应一个方差分量或所涉及的方差来源。

>对于一周到一周的变异性,在单因素方差分析中被视为因素的变异来源在图中描述的五

周研究中只有5-1=4DF,符合DF=N-1关系。方差分量的DF或其估计值表明该方差来

源在研究中应用的范围有多广。

A对于周内的残差变化,有20个DF,计算如下。"周"的影响可以通过将研究视为连续的五

个较小(单周)的实验来考虑,每个实验有五个结果,没有明显的结构,并且每个实验

都产生一个4DF的周内可变性的估计值。将以方差表示的五个独立估计值进行组合,

需要计算某个加权平均值,以产生一个更明确的估计值,该估计值与5.4=20DF有关。

(第3.7.1节解释了以这种方式组合估算。)

b具体而言,对于以SD表示的估计,置信上限和置信下限计算为SD乘以(DF/X)的平方根,其中X是DF

和相关分位数的卡方值,即中心95%CI的0.025或0.975。

因此,利用N=DF+1关系,五周研究中的周内变异性估计值(与20DF相关)与在一周内产

生N=21个结果的研究中获得的相同幅度的估计值具有基本相同的不精确性,因为CI是相

同的。(当然,从较长的研究中得到的估计更具有代表性。CI仅反映采样变化。)

至于图2所示QC示例中的总体变异性,ANOVA将"总"SD计算为每周和周内方差分量估计

的组合,而不是直接从25个结果中计算SD,就好像只有一个同质的变异源一样。通常可以

预期直接方法会产生几乎相同的精度估计,但它会将25-1=24DF归因于估计,这是不必要

的乐观。方差分量法的主要区别在于在评估与精度估计相关的不确定性时更为保守和现实。

与直接法相比,它将较少的DF归因于估算,这转化为更宽的CI,表示更大的不确定性。(图

5(稍后讨论)提供了一个定量示例,说明了在这方面如何比较直接方差法和方差分量法。)

由于精度估计代表方差分量的组合,因此在分析过程中,与之相关的DF必须近似(例如,

通过Satterthwaite的方法)22,不同于两个分量的DF(每周和周内的变化源),可以从与

实验设计相关的统计模型中提前读取。(方差分析表的示例见第3.6.2节的表2和附录A的

表A2。)

对于表示方差分量组合的精度类型(如实验室内精度)的估计,有贡献的方差来源将影响估

计的DF。因此,它也会影响其不精确性或不确定度(通过估算CI的宽度测量),具体取决

于:

>研究中使用来源的频率

>它的重要性,即它的大小相对于实验中计算出的其他变异源。

图5说明了所涉及的原则。

注:

图5提供了一个定量的例子,说明在这方面,直接方差法和方差分量法是如何进行比较的。)

注:

方差分析表示例见第3.6.2节表2和附录A表A2。

缩写:方差分析,方差分析;DF,自由度。

图5。对比数据集。这些基本上表现出相同的总体变异性,但在日内和日常变异来源的相对贡献上有显著差

异。叠加在数据点上的帧表示日内变异性(实线)和总体变异性(虚线)的±2SD离散度,如单因素方差分

析估计的。

在某些方面,图5中的两个数据集(由两个不同的分析人员生成的测量值组成)非常匹配。

它们具有相同的平均值,当直接计算时,总SD相同。当用方差分析中最基本的成分一一单

因素方差分析(ANOVA)进行估计时,它们在总体标准差上只是略有不同。止匕外,对于这两

个数据集中的每一个,直接法和方差分析法得出的总体SD估计值几乎相同。(这是典型的,

但由于所涉及的计算不同,估计值必须总是有所不同。)

然而,Mean和

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论