准确度性能评价

1、准确度性能评价 -方法对比及偏倚评估 南充市中心医院检验科 李多孚准确度性能评价准确度性能评价?原有实验方法 （比较方法） 新实验方法（实验方法） 检测系统 检测系统 仪器 仪器 试剂盒 试剂盒 偏倚 比较、评估准确度性能评价准确度性能评价?l按正确的方法检测。方法比较，实际上主要是检测实验方法相对于比较方法的系统误差（恒定误差、比例误差）l按正确的标准评估。方法可否被接受? 要根椐评价实验中的误差结果进行归纳，作出判断（方法学性能判断)准确度性能评价的基本步骤准确度性能评价的基本步骤l方法内双份数据中离群值的检查l方法间离群值的检查l点画数据，线性回归lX值合适范围的检验l计算预期偏倚及其可

2、信区间l偏倚评估与允许总误差比较 (national committee for clinical laboratory standards) NCCLS文件文件 EP9-A用患者样品进行 方法对比及偏倚评估 1995.12批准仪器熟习阶段仪器熟习阶段l操作 仪器操作及维护步骤 样品准备方法 校准和监控功能方法对比实验方法对比实验l 实验样品 -贮存：待测成份的稳定性 -来源：应从含有待测物的各种疾病的患者中收集，但不使用已知含有会干扰方法的成分的标本（如溶血） l参比方法(比较方法、X) - 具有比待评方法更好的精密度 -不受已知干扰物的干扰 -使用与待评方法相同的单位 -可能的情况下, 与

3、国家标准或参考方法的相对偏倚为已知(可溯源)方法对比实验方法对比实验方法对比实验方法对比实验l 测定范围 -在具有临床意义(医学决定水平)的范围内 -涵盖参考范围 -分析浓度尽可能均匀分布 -可报告范围：参比方法的范围至少与 待评方法的范围相同 -延伸范围：不用超出可报告范围以外 的数据。方法对比实验方法对比实验l 样品数 -至少40份以上 -双份测定 -混合样品(微混合样品)方法对比实验方法对比实验l样品测定序列 -在样品的双份测定中指定第一份测定顺序 -按反方向顺序检测第二份(双份)样品, 如1、2、 3、4、5、6、7、8，和8、7、6、5、4、3、2、1。两方法都应按此反向步骤进行，但

4、每种方法可使用不同开始顺序 -顺序中的浓度应尽可能随机排列方法对比实验方法对比实验l时间和期限 -应在两小时内完成 -最好使用当天采取的样品 -如为贮存样品，要确保结果稳定，满足两方法的要求，且贮存条件要一致。 -一天最多测定8个样品。如果方法对比实验与精密度评价实验同时进行，方案确定之后，每天只能做4个样品方法对比实验方法对比实验l数据收集过程中的检查 -分析系统误差 -人为误差 -其它不一致数据的处理方法对比实验方法对比实验l质量控制 -遵守实验室的常规质量控制 -两方法出现失控时应重新测定方法对比实验方法对比实验l删除数据的文件化 -任何需要删除数据的情况都应仔细形成文件并保留，记录所发

5、现的原因和问题反映数据集中趋势的指标反映数据集中趋势的指标l算术平均数(均数)l中位数nxixni1)(2121为奇数其中 nMxn)(21212为偶数其中nMxxnn反映数据集中趋势的指标反映数据集中趋势的指标l几何平均数nxniGIgIgxi11反映数据离散度的指标反映数据离散度的指标l标准差l变异系数l极差112nisnixx%100%xsCVxxRminmax评价实验室性能的指标评价实验室性能的指标l偏倚值（Bias）xBiasxi初步数据检查-方法内双份数据中离群值的检查 比较方法（参比）-X，实验方法 （待评）-Yl计算每一样品的两次重复测定值之间差的绝对值： Dxi = Xi1-

6、 Xi2 (1) Dyi = Yi1- Yi2 (2)l差值绝对值的均值: NDxiDxNDyiDy初步数据检查-方法内双份数据中离群值的检查l如果一绝对差值超过此限（Dx或Dy），用标准化（相对）的绝对差值，并进行附加计算：xixixiDxi21yiyiyiDyi21初步数据检查-方法内双份数据中离群值的检查NDxiDxNDyiDy以相对差值的4倍作为标准化值的检测界限初步数据检查-方法内双份数据中离群值的检查l如有一值超出上述范围和相对范围的检测界限，观察为何如此，并从数据中删除此值（该标本X、Y所有数据）后，再继续分析 -样品原因 -可纠正，但不能追踪到特定样品 -找不到原因，也不能纠正

7、初步数据检查-方法内双份数据中离群值的检查lCO2数据汇总表标本号(i) Xi1 Xi2 Dxi Yi1 Yi2 Dyi 1 42.0 42.5 -0.5 41.1 41.1 0 2 68.0 67.1 0.9 68.2 68.7 -0.5 3 32.9 31.8 1.1 29.2 29.6 -0.4 . 40 49.4 49.2 0.2 49.5 50.2 -0.7 X =? Dx =? Y =? Dy=?初步数据检查-方法内双份数据中离群值的检查lCO2离群值观察表标本 Xi Dxi Yi Dyi Xi-Yi (Xi-X) (Yi-Y)123.40计算 Dx Dxi Dy Dyi Dx D

8、y Eij初步数据检查-数据作图lYi对Xi的散点图初步数据检查-数据作图lYij对Xi均值的散点图 初步数据检查-数据作图l双份测定均质之差(Yj-Xj)相对于Xi的偏倚图 初步数据检查-数据作图l每次测定的差(Yij-Xij)对Xi偏倚图(略)初步数据检查-线性相关的目测检查l明显的非线性关系 -目测是否数据有直线部分 -如非直线部分明显或直线部分太短l线性关系满意，按以下方法检查数据方法间方法间离群值的目测检查离群值的目测检查l检查两张散点图是否有明显的离群值。有，则按以下计算方法删除。l计算两种方法的绝对差及其均值： Eij = yij xij l计算检测限（4E），并将每一Eij与之

9、比较，标记出超出4E的点 NijEijNE221方法间方法间离群值的目测检查离群值的目测检查l计算方法间的相对绝对差值及其均值l计算检测限（4E），并将每一Eij与之比较，标记出超出4E的点xijxijyijijENijijENE221方法间方法间离群值的目测检查离群值的目测检查l任何一点(Xij，Yij)如在两个实验中都不能通过，则为离群点l从数据组中删除的数值不能超过2.5% -如有超过2.5%的离群值X值合适范围的检验值合适范围的检验lX的测定范围是否够宽，可用相关系数r做粗略的估计l本例中, r =0.9777 NijNijNijyyijxxijyyijxxijr22222X值合适范围

10、的检验值合适范围的检验l上式中Nxijx2Nyijy2 X值合适范围的检验值合适范围的检验l作为一般规则，如果r0.975，则可认为X分布范围适合l如果r 0.975，数据分布不够宽，必须分析更多样品以扩大数据范围l注意：此只能评价数据的范围，而不能反映数据在范围内的分布情况线性回归线性回归-计算计算l对于成对的数据（Xij-Yij)，可按以下公式计算斜率b及截距al本例中, b=0.8819 a=5.5557 NijNijxxijyyijxxijb222xbya线性回归线性回归-计算计算l上式中l可用下式表算示出直线Nxijy2 Nxijx2 abXy线性回归线性回归-分散均性的目测检查分散

11、均性的目测检查l目测离散图和偏倚图，可以看出在数据范围的上限和下限的偏倚之间是否有很大和显著差异 -如果数据具有合理的均匀离散度，则可用以下描述的线性回归方程计算平均偏倚 -如果数据不具有合理的均匀离散度，则可使用以下描述的分部残余方法作变异评估以及作平均偏倚的评估计算预期偏倚及其可信区间计算预期偏倚及其可信区间-线性回归法线性回归法（当数据通过合适范围及均匀离散度的检查）（当数据通过合适范围及均匀离散度的检查）l在Y的方向上数据点与回归之差称为此点的剩余值，其计算公式如下： 剩余值l估计值的标准误（Sx,y)是这些剩余值的标准差，它是测量围绕回归线这些点的“离散度”。其计算公式如下：bxij

12、ayijijYyijji22,2 NxSyijYyij计算预期偏倚及其可信区间计算预期偏倚及其可信区间-线性回归法线性回归法（当数据通过合适范围及均匀离散度的检查）（当数据通过合适范围及均匀离散度的检查）l以给定的医学决定水平Xc上的预期偏倚（Bc）估计值，可按下式计算：lBc的95%可信区间（在Xc上的真正偏倚）按下式计算：XcbacB) 1(XXijXXcBBBNxSychighclowc22,.21.2计算预期偏倚及其可信区间计算预期偏倚及其可信区间-线性回归法线性回归法（当数据通过合适范围及均匀离散度的检查）（当数据通过合适范围及均匀离散度的检查）项目医学决定水平允许误差预期偏差BC9

13、5%的可信限预期值预期值95%可信限下限上限下限上限PCO2 (mmHg)352.191.40.91.936.437.338.3452.810.2-0.30.740.239.940.969.84.362.7-3.22.267.163.969.3PH、PCO、PO允许误差的限度分别为：0.34%、6.25%、5.6%.计算预期偏倚及其可信区间计算预期偏倚及其可信区间-分部偏倚法分部偏倚法（当数据未通过适合范围检查时（当数据未通过适合范围检查时）l按X递增顺序制表，将数据分为低、中、高三组，每组应含大约相同数目的数据，然后分别用下列方程式分别计算每组的平均偏倚 式中Nk=K组的数据数（K=1、2、

14、3） 式中为“虚设的”下标，说明K组中成对X和成对Y的和NxyBkNimmmk1计算预期偏倚及其可信区间计算预期偏倚及其可信区间-分部偏倚法分部偏倚法（当数据未通过适合范围检查时（当数据未通过适合范围检查时）l组中每个点的偏倚（差别）及这些偏倚的标准差，可按下式计算112NBxySDkmknkmmk计算预期偏倚及其可信区间计算预期偏倚及其可信区间-分部偏倚法分部偏倚法（当数据未通过适合范围检查时（当数据未通过适合范围检查时）l在医学决定水平浓度Xc下，通过选择对于Xc的适当K值并作如下计算，可得出预期偏倚Bc 95%可信区间NSDBBBkkchighclowc2,.,计算预期偏倚及其可信区间计

15、算预期偏倚及其可信区间-分部剩余法分部剩余法（当数据有不恒定（当数据有不恒定(可变的可变的)精密度时精密度时）l如分部偏倚法分组,计算公式如下l在给定的医学决定水平Xc处，预期偏倚Bc的估计值为：112NYYSDkNkmkmmxBccba1计算预期偏倚及其可信区间计算预期偏倚及其可信区间-分部剩余法分部剩余法（当数据有不恒定（当数据有不恒定(可变的可变的)精密度时精密度时）l通过选择对于Xc的适当K值并作如下计算，可得出预期偏倚Bc 95%可信区间NSDBBBkkchighclowc2,.,结果的解释以及与内部性能标准的结果的解释以及与内部性能标准的比较比较l两方法之间的差别如何，一般将预期偏倚的可信区间与医学决定点Xc上的允许误差的限值相比较。 -如预期偏倚的可信区间包含了规定的可接受偏倚，则两种方法的数据未显示二者偏倚有区别 -如预期偏倚的可信区间不包含规定的可接受偏倚时 可接受的偏倚小于预期偏倚可信区间的下限，则两方法不相当 可接受的偏倚大于预期偏倚可信区间的上限，则两方法相当结果的解释以及与内部性能标准的结果的解释以及与内部性能标准的比较比较l如果两法不相当，但仍相信待评方法更特异，则不应拒绝新方法。可在常规应用前收集新的临床数据，建立新的参考范围，确定两方法之间的允许差异，不一定单独应用医学允许误差来决定精密度l当厂家提供了待评方法的对比数据时，则应另做一些性能评