许鹏-体外诊断试剂临床试验的统计学考虑 致众

1、体外诊断试剂临床试验的统计学考虑武汉致众科技股份有限公司Wuhan Tacro Technology Co.,Ltd.临床试验设计类型 观察性研究和干预性研究 观察性研究 试验用体外诊断试剂对样本进行检测的同时，受试者还会接受常规临床诊断和实验室检测，试验用体外诊断试剂检测结果不用于患者的管理，不影响临床决策 临床试验中通过评价该检测结果与确定受试者目标状态的临床参考标准（或其他方法）判定结果的一致性，确认产品的临床性能 干预性研究 体外诊断试剂检测结果将用于患者管理或指导治疗，通过评价治疗效果或患者受益，为支持体外诊断试剂安全有效性判定结论提供依据 多数体外诊断试剂采用观察性研究设计致众版权

2、所有2临床试验设计类型 观察性研究 采用试验用体外诊断试剂与临床参考标准进行比较研究的方法 评价试验用体外诊断试剂检测结果与受试者目标状态的相关性 临床评价指标一般包括临床灵敏度和临床特异度等 临床参考标准 是指现有条件下临床上可获得的能够用来确定受试者目标状态的最近方法，通常来自临床和实验室的医学实践 包括： 现有条件下公认的、可靠的、权威的疾病诊断标准（如组织病理学检查、影像学检查、病原体分离培养鉴定、长期随访所得的结论等） 疾病诊疗指南中明确的疾病诊断方法 行业内专家共识或临床上公认的、合理的参考方法等 临床参考标准可能是一种方法，也可能是多种方法相结合致众版权所有3 与境内已上市同类产

3、品比较研究 采用试验用体外诊断试剂与已上市同类产品（参比试剂）进行比较研究的方法 评价两种方法检测结果的一致性 评价指标包括阳性符合率、阴性符合率等 参比试剂与试验用体外诊断试剂具有较好的可比性 预期用途 适用人群 样本类型 检测方法学 检测性能 有时需综合临床参考标准的比较研究和与境内已上市同类产品的比较研究 上述均无，应依据现有临床实践和理论基础，建立目前公认、合理的方法，进行比较研究致众版权所有4 观察性研究的特殊情形 试验用体外诊断试剂与参比试剂不能使用同一份样本进行检测 由于样本采集、处理、保存等差异 如拭子，两种方法使用的拭子材质和保存液不同 可针对每位受试者进行两次样本采集，分别

4、检测，顺序随机 注意：一次样本采集不影响下一次样本采集致众版权所有5临床试验的统计学分析 临床试验结果的统计分析应该建立在正确、完整的数据基础上，选择适当的临床评价指标来评价体外诊断试剂的临床性能，并采用适当的统计模型对数据进行分析致众版权所有6 统计学分析方法 参数估计 假设检验致众版权所有7参数估计总体样本参数统计量 ?x算术平均数用来推断总体参数的统计量称为估计量（estimator), 其取值称为估计值（estimate) 。 同一个参数可以有多个不同的估计量。参数是唯一的，但估计量（统计量）是随机变量，取值是不确定的。致众版权所有8 点估计: 用估计量的数值作为总体参数的估计值。 区

5、间估计：根据事先确定的置信度1 - 给出总体参数的一个估计范围。 置信度1 - 的含义是：在同样的方法得到的所有置信区间中，有100(1-)% 的区间包含总体参数。置信区间置信下限置信上限估计值(点估计)致众版权所有9假设检验 假设检验: 事先作出关于总体参数、分布形式、相互关系等的命题（假设），然后通过样本信息来判断该命题是否成立（检验） 某种新生产方法是否会降低产品成本？ 治疗某疾病的新药是否比旧药疗效更高？ 厂商声称产品质量符合标准，是否可信？ 致众版权所有10假设检验的基本原理 利用假设检验进行推断的基本原理是：小概率事件在一次试验中几乎不会发生。 如果对总体的某种假设是真实的（例如学

6、生上课平均出勤率95%），那么不利于或不能支持这一假设的事件A（小概率事件，例如样本出勤率=55% ）在一次试验中几乎不可能发生的； 要是在一次试验中A竟然发生了（样本出勤率=55% ），就有理由怀疑该假设的真实性，拒绝提出的假设。致众版权所有11假设检验的步骤 根据实际问题提出一对假设（零假设和备择假设）； 构造某个适当的检验统计量，并确定其在零假设成立时的分布； 根据观测的样本计算检验统计量的值； 根据犯第一类错误的损失规定显著性水平 ； 确定决策规则：根据确定检验统计量的临界值并进而给出拒绝域，或者计算p值等； 下结论：根据决策规则得出拒绝或不能拒绝零假设的结论。注意“不能拒绝零假设”不

7、同于“接受零假设”。致众版权所有12常见的统计学分析方法01 定性分析 适用于：定性指标，诊断结果只给出阴性或阳性（有反应或无反应、是或非、有或无、正常或异常）两种可能的结果。02 定量分析 适用于：定量指标，诊断结果为具体数值，可反映被研究对象包含成分的量与性质之间的关系。致众版权所有13常见的统计学分析方法 定性检测 临床试验一般以22表的形式总结两种分析方法的检测结果，并据此计算灵敏度（阳性符合率）、特异度（阴性符合率）、总符合率、Kappa值等指标及其可信区间 除此之外，还可同时进行假设检验评价两种检测方法的一致性致众版权所有14体外诊断试剂-定性分析 定性资料整理表格形式 基本统计数

8、据形式是四格表诊断资料四格表金标准（D）病例（D+） 对照（D-）合计阳性（T+） TP(a)（真阳性） FP(b)（假阳性）阴性（T-） FN(c)（假阴性） TN(d)（真阴性）TP+FPFN+TNN待考核试剂（T）TP+FNFP+TN合计TP( true positive) =真阳性FP( false positive) =假阳性FN( false negative) =假阴性TN( true negative) =真阴性TP、FP、FN、TN 有时也表达成a、b、c、d 形式致众版权所有15体外诊断试剂-定性分析 真实性( validity)或准确性( accuracy) 要求一项诊断

9、试验具备能正确地鉴别患和未患某病的能力, 这种反映患病实际情况的程度称作真实性, 亦称准确性。 诊断试验的真实性包括 灵敏度( sensitivity) 指一项诊断试验能将实际患病的病例正确地判断为患某病的能力 特异度( specificity) 指一项诊断试验能将实际未患某病的病例正确地判断为未患某病的能力致众版权所有16体外诊断试剂-定性分析 灵敏度 即真阳性率, 为诊断试验阳性的病人占病人总数比例, 理想的应为100%。该指标只与病例组有关, 反映了诊断试验检出病例的能力。 Sen=P(T+/D+)=TP/(TP+FN) 或 a/a+c 特异度 即真阴性率, 为诊断试验阴性非病人占无病总

10、人数的比例, 理想的应为100%。该指标只与对照组有关, 反映了诊断试验排除非病例的能力。 Spe=P(T-/D-)=TN/(FP+TN) 或 d/b+d致众版权所有17体外诊断试剂-定性分析 假阳性率 为实际无病、经诊断试验判断为患病的百分率, 即诊断试验判断为阳性的非病人占全部无病者的比例, 临床上称为误诊率( 统计学上称为错误) , 理想的应是0%。 假阳性率=FP/( FP+TN) 或 b/b+d 假阴性率 为实际患病、经诊断试验判断为无病的百分率, 即诊断试验判断为阴性的病人占病人总数的比例, 又称漏诊率(统计学上称错误), 理想的应是0%。 假阴性率=FN/( TP+FN) 或 c

11、/a+c致众版权所有18体外诊断试剂-定性分析评价定性检测的体外诊断试剂诊断效果时需同时评价灵敏度和特异度。灵敏度与特异度具有不受患病率影响的优点，其取值范围均在(0, 1)之间, 其值越接近于1, 说明其诊断试验的价值越好。定性检测试剂的真实性评价在临床工作中, 医师希望一项诊断试验的灵敏度和特异度均高, 但实际上很难如愿；事实是若提高灵敏度必然以降低特异度为代价, 反之亦然。致众版权所有19体外诊断试剂-定性分析 Youden 指数 约登指数 ( youdons index ) 亦称正确指数 , 用于比较两个诊断方法 , 它表示诊断方法的真实度。 Youden指数的取值范围在(0, +1)

12、之间 , 其值越接近于+1 , 诊断准确性越好。 但应注意 , 正确指数大时 , 并未告知是灵敏度高还是特异度高 , 因此 , 它不能代替上述四项指标。 J=1- ( 假阳性率+假阴性率 ) = ( 灵敏度+特异度 ) - 1致众版权所有20体外诊断试剂-定性分析 符合率( coincidence rate) 也称准确率或一致性( crude agreement) , 该指标是指考核试剂和参比试剂检测结果均为阳性和均为阴性的人数占受试者总人数的比例。符合率越大, 该试验价值越高。诊断资料四格表参比试剂合计阳性a阴性ba+bc+d阳性阴性待考核试剂合计cda+cb+da+b+c+d致众版权所有2

13、1体外诊断试剂-定性分析 符合率( coincidence rate)a 阳性符合率 = 阴性符合率 = 总符合率 = 100% 100%a + c + + a + + + 100%使用非金标准作为对照的情况下，无法确定对象是否患病，不能用灵敏度和特异度来描述比较结果，可选用符合率来评价其准确度。致众版权所有22体外诊断试剂-定性分析 符合率( coincidence rate) 由于未选用金标准进行对照，即使考核试剂和参比试剂一致性好，但可能并不正确，可能是两者均有较低的灵敏度和特异度；两种试剂一致性差，也不代表考核试剂的诊断结果是错误的。 某些情况下，阳性符合率/阴性符合率较低时，总符合率

14、一致性也可能很好。因此仅用总符合率来判定诊断效果是不准确的，评价定性检测的体外诊断试剂诊断效果时需同时评价阳性符合率、阴性符合率和总符合率。致众版权所有23体外诊断试剂-定性分析 Kappa 一致性检验 Kappa 值可用于两种方法测定一致性的评价 ,检验所得结果相符的程度，又称吻合度系数。 Kappa 值可在+1- 1 之间波动 , 在实际应用中 ,Kappa 值只在0+1 间判断一致性才有意义。2(ad bc)Kappa(K) =(a + b)(b + d) + (a + c)(c + d)致众版权所有24体外诊断试剂-定性分析 Kappa 一致性检验 Kappa 值越大 , 表示一致性越

15、好。一般认为Kappa 值0.75 , 说明已经取得相当满意的一致程度；0.4 Kappa值0.75，说明一致程度一般；若Kappa 值0.9，且斜率在0.9-1.1之间 美国EP要求： 方法比较r20.95，需要做各医学决定水平偏倚及离群点分析，最多删除2.5%的数据 如果偏倚或偏差（95%置信区间）超出医学决定水平允许偏差范围，则不能判定，需扩大样本量重新试验或重新设计产品致众版权所有36体外诊断试剂-定量分析 配对t检验 配对 t 检验是对两种检测试剂检测结果差值的总体均数是否为 0 的检验，当检验结果的差值符合正态分布时可采用配对 t 检验 主要检验的是2个检验系统的系统误差是否有差异

16、，是对“差异”的检验，而非对“一致”的检验，对系统误差敏感，对随机误差不敏感，不能解决一致性问题 样本量足够大时可检验出无意义的差异致众版权所有37体外诊断试剂-定量分析 Bland-Altman分析 是1986年Bland和AItman提出的并发表在Lancet杂志上 该方法以两种检测方法的均值为横轴 X，以两种检测方法的差值为纵轴 Y，绘制散点图，同时计算差值的均值 d 及差值的95%分布范围，以图形的方式确定一致性界限 LoA ( d-1.96SD，d+1.96SD )， SD为差值的标准差 LoA 越窄，两种检验方法的一致性程度越高 如果 95% 的差值位于一致性界限以内，且与临床可接

17、受的界限值比较可接受，就可以认为两种检测方法一致性较好 除了用两种试剂的结果的差值反映一致性外，还可以用两种测量结果之间的比值(或差值与均值的百分比)进行Bland-Altman分析致众版权所有38体外诊断试剂-定量分析 Bland-Altman分析致众版权所有39 Bland-Altman分析的应用条件 均值和差值应相互独立 即两种试剂的测量结果应具有方差齐性，差值应服从正态分布 在测量范围内的差值不随着测量结果变化的扩大而变化 假如不满足条件，如Bland-Altman图呈喇叭状，建议通过对数转换达到要求，也可以通过比值来进行分析致众版权所有40体外诊断试剂-其他指标及分析方式 ROC（R

18、eceiver Operating Characteristic）曲线 对于试验用体外诊断试剂检测结果为定量或半定量数据，临床参考标准判断结果为定性结果的统计学分析，也可以采用受试者工作特征(ROC)曲线的方法，以ROC曲线下面积反映试验用体外诊断试剂检测的诊断价值，或同时比较两种试剂的诊断价值。致众版权所有41 曲线以真阳性率（灵敏度）为纵轴，假阳性率（1-特异度）为横轴绘制而成。曲线上任意一点表示观察指标的某个阳性标准值对应的一对灵敏度和特异度，可以通过计算其曲线下面积（AUC）综合灵敏度及特异度的结果来比较两种诊断方法的诊断效能。致众版权所有42体外诊断试剂-其他指标及分析方式 ROC（

19、Receiver Operating Characteristic）曲线 无论试验指标的类型如何，ROC曲线一定通过正方形区域的左下角和右上角 他们分别代表诊断界值的两种极端情况：灵敏度为0，特异度为1以及灵敏度为1，特异度为0的情况 从理论上讲，诊断能力完备的诊断指标，将通过正方形区域的左上角(即灵敏度为和特异度均为1的情况)；而完全无价值的ROC曲线是连接左下角和右上角的对角线 对于实际获得的ROC曲线而言，其越靠近左上角，其曲线下面积越大，诊断能力越高 ROC分析可以通过对曲线下面积的统计检验，推断试验指标是否具有诊断能力致众版权所有43体外诊断试剂临床试验的统计学分析试剂类型对比方法评

20、价指标评价方式阳性符合率、阴性符合率、总符合率率及其95%置信区间同类产品Kappa值、95%置信区间、假设检验P值Kappa值定性检测试剂灵敏度、特异度、准确度率及其95%置信区间金标准Kappa值、95%置信区间、假设检验P值Kappa值致众版权所有44体外诊断试剂临床试验的统计学分析试剂类型对比方法评价方式评价指标一致性界限 LoABland-Altman法直线回归、回归分析DemingS回归、Passing-Bablok回归的斜率和截距及其95%置信区间，决定系数R2同类产品或金标准定量检测试剂相关系数（评价数据分布，非一致性）相关分析ROC曲线下面积、灵敏度、特异度、准确度及其95%置信区间疾病诊断ROC分析致众版权所有45体外诊断试剂临床试验的统计学分析试剂类型对比方法评价指标评价方式各等级的符合率、总符合率率及其95%置信区间同类产品加权Kappa值、95%置信区间、假设检验P值加权Kappa值半定量检测试剂ROC曲线下面积、灵敏度、特异度、准确度及其95%置信区间疾病诊断ROC分析致众版权所有46 常见错