GRADE方法及系统评价的质量评价

1、GRADEGRADE方法方法及及系系统评统评价的价的质质量量评评价价杨晓妍杨晓妍四川大学四川大学 华西临床医学院华西临床医学院/华西医院华西医院2015年7月内容：内容：2一、影响研究质量的因素二、GRADE方法三、系统评价的质量评价四、实例Wan CM,MD PhDWinter,2002 研究结果的真实可靠 科研道德随机误差系统误差机遇chance偏倚bias一、影响研究质量的因素3几个基本概念4试验性研究与非试验性研究总体与样本抽样与抽样误差偏倚与机遇5试验性研究：试验性研究： 对可进行人为分组的对象，人为施加某种干预措施，以探讨该措施对各组结局影响的研究非试验性研究：非试验性研究： 亦称

2、观察性研究，指对无法进行人为分组的对象，被动观察各组相关特征的差别，以探讨某因素（特征）在各组间的差异6总体总体： 根据研究目的确定的全体同质观察对象。样本：样本： 从总体中按一定方式抽取出来的部分观察单位的集合。抽样：抽样： 总体中抽取部分观察单位获得样本的过程。抽样误差：抽样误差： 样本与总体之间由于抽样过程引起的差异，在统计学上称为抽样误差。7偏倚（偏倚（biasbias）：）： 当临床研究受到某些因素的影响，使最终观察的结果一致向真实结果的某一方向偏离的现象，即称为偏倚。是一种系统误差。机遇（机遇（chancechance）：）： 又称为概率（probability），是指某一事件发生

3、的可能性大小。对于一个假定完全避免了偏倚的样本作观察时，所得结果仍会与真实情况有一定差异。这是来自于测量过程本身或生物学变异所产生的随机变异（random variation）造成的，这种单纯由机会引起的差异称为机遇，是一种随机误差。8偏倚与机遇的关系：偏倚机遇共性：任何类型研究任何研究阶段影响真实性不同点：本质系统误差随机误差方向性 有无能否避免能不能控制方法完善设计、分析手段，客观测量 扩大样本，限制大小9观察次数偏倚真值测量值机遇 偏倚与机遇的关系示意图指标10偏倚的分类 选择性偏倚（selection bias） 测量性偏倚（measurement bias） 混杂性偏倚（confou

4、nding bias）（一）偏倚111.选择性偏倚（selection bias）定义： 不正确地选择了研究对象，使研究开始时，两组研究对象就存在除研究因素以外的其它因素分布的不均衡性，因而导致研究结果与真实情况之间产生差异。产生：只要所选的样本不能代表整体特征就可能产生 选择时 分组时12选择性偏倚的分类： 组成成员偏倚（membership bias） 试验组对照组自愿入组目标人群基线情况：试验组 对照组13 诊断信息偏倚（detection signal bias 或unmasking bias） 在选择纳入观察病例时，因某种与观察内容无直接关系的症状或体征，加速或促进本病的发现，而错误

5、地判定因果关系。 eg：绝经期妇女服用雌激素与子宫内膜癌组别组别以阴道出血以阴道出血纳入观察子宫内纳入观察子宫内膜癌病例膜癌病例以病理诊断纳入以病理诊断纳入观察子宫内观察子宫内膜癌病例膜癌病例有无合计有无合计服用雌激素457525942101未服用雌激素7211018289106195OR=9.8OR=1.786.5% VS 58.4% 其他选择性偏倚142. 测量性偏倚（measurement bias）定义： 在资料收集阶段，由于观察和测量方法上有缺陷，组间不一致，使各组所获得的信息产生系统误差，即为测量性偏倚（信息偏倚）。产生： 对两组观察强度或频度差异 实验非规范化操作 影像学资料定性

6、或定量差异15测量性偏倚的分类： 疑诊偏倚（diagnostic-suspicious bias），也称期望偏倚 关注组阳性发现 非关注组阳性发现 沾染性偏倚（contamination bias） 差异 干扰性偏倚（co-intervention bias） 差异 其他测量性偏倚163. 混杂性偏倚（confounding bias）定义： 简称混杂，研究暴露于某因素与某疾病之间的关系时，由于一个或多个既与疾病有关，又与暴露因素相关的外部因素（extraneous）的影响，掩盖或夸大了研究的暴露因素与该疾病的联系。这种影响所带来的误差称为混杂偏倚或混杂。17研究因素疾病结局非研究因素非研究因

7、素真正的关联观察到的关联未观察到的关联混杂因素示意推断的因果关系18产生：存在两种以上的因素，其中包括研究因素和非研究因素非研究因素对最后结果有影响，且与研究因素有关非研究因素不是研究因素与疾病因果关系的中间因素在研究因素的不同水平，非研究因素的分布不一致19eg：服用维生素E与心肌梗死 组别组别心肌梗死心肌梗死有无服用维生素E400600未服用维生素E600400RR=0.671RR=1.321偏倚防控21策略: 制定研究方案（计划书）时： 遵循科研设计基本原则（随机、对照、盲法、基线可比） 参照相关质量评价标准 根据偏倚类型、产生阶段及产生原因合理选择控制措施 实施研究时： 参照设计方案严

8、格实施，做好关键点控制 总结研究结果时： 基于研究实施及结果，全面规范报告22措施： 设计方案的选择 纳入/排除标准的制定 对照 随机（随机抽样、随机分组） 盲法（盲谁？） 限制 匹配 分层方法（分层抽样、分层随机、分层分析等） 入组后维持均衡性的措施（依从性、失访、是否依从者的特征差异等） 统计分析控制（标准化法、分层分析、多因素分析） 操作层面的控制（技术方案、培训、统一工具并校正、数据录入与质控、分析方法选择与参数设置、全面报告） 23影响机遇的因素1、样本大小主要因素 Rationale for large sample study and meta analysis Various

9、restrictions in practice Threshold set to limit chances effect within an acceptable interval2、观察对象间的差异大小重要因素3、观察结果的差异重要参数4、对两类错误的容许范围 关注真阴性还是真阳性 两类错误的大小仅反映研究受机遇影响的大小，并不代表研究的总体质量（二）机遇二、GRADE方法24用于系统评价、卫生技术评估（HTAs）及临床实践指南中备选方案的证据质量评价和推荐强度评级的系统当前最成熟的应用领域为干预性系统评价和治疗性临床实践指南25GRADE证据质量评价与推荐强度评级26 GRADE将证据

10、质量分为高、中、低、极低4级，推荐强度分为强、弱2级，对应解释如下：证据质量 高： 非常确信（很有把握认为真实值与估计值接近） 中： 信心一般（真实值可能与估计值接近，但存在二者 完全不同的可能性） 低： 信心有限（真实值可能与估计值完全不同） 极低：几乎没什么信心（估计值很不确定）推荐强度 强：明确显示干预措施利大于弊或弊大于利 弱：利弊不确定或无论质量高低的证据均显示利弊相当影响证据质量的八因素27可能降低降低级别的因素：偏倚风险不一致性（对系统评价）间接性不精确性发表偏倚（对系统评价）可能升高级别的因素：效应量大剂量反应关系混杂因素会降低效应起点起点起点起点28GRADE分级软件（GRA

11、DEprofiler，简称GRADEpro）该软件可免费下载和安装（/revman/gradepro）该软件主要用于创建结果总结表结果总结表（Summary of Findings，SoF）和证据概要表证据概要表（GRADE evidence profile）结果总结表结果总结表(Summary of Findings，SoF) 示例 Source: GRADE-130续表：31证据概要表证据概要表(GRADE evidence profile) 示例 Source: GRADE-13233续表：三、系统评价的质量评价34系统评价（SR）作为合成证据

12、，是一种重要的证据形式，其信息含量高，是决策的重要基础，但其质量仍存在差异以系统评价为证据来源的进一步研究综合被称为系统评价再评价（Overview），其本质是一种系统评价，是针对同一问题多个系统评价的一种综合研究方法。Overview在以下情况下可能有用：总结针对某种疾病的多种干预措施证据（最常见），或总结某种干预措施治疗不同疾病的证据，或总结某种干预措施的不良反应（价值有限）。其方法仍在发展中。系统评价再评价（Overview ）的研究现状 20世纪末国外学者开始进行系统评价再评价研究 国内发表的overview始见于2010年，较英、美、澳等国晚十年 至2013年4月检索到十篇中文，之后

13、的两年内发表文献增加了一倍 以“系统评价”和“质量”为主题词检索CNKI（ 2015-6-30 ），检中5486条结果，文献可归纳为：l以发表于某杂志的SR为对象的（如中国循证医学杂志、中华儿科杂志）l以研究领域的SR为对象的（如护理、公共卫生）l以疾病或疾病状况的SR为对象的（如肺癌、脑出血）l以治疗手段的SR为对象的（如针灸、中药等）l以从业者发表的SR为对象的（如药学人员） l 3536评价医学文献的一般原则： 真实性（研究方法是否科学合理） 如治疗性研究的对照设置、随机化及隐蔽分组、盲法、是否按分配组别分析全部研究对象等等 重要性（研究结果是否有价值） 如相对效应与绝对效应（RRR和A

14、RR），NNT，效应的一致性，效应估计的精确性（95% CI），统计学意义与临床意义等；灵敏度、特异度、阳性及阴性预测值等（对诊断性研究） 适用性（研究结果是否可推广） 如患者特点、干预措施是否适用、价值观等评价系统评价需要考虑的方面：37应从其制作全过程的各关键环节展开，如：提出的决策问题是否恰当该问题是否在进行系统评价前即已提出（对Cochrane系统评价必须事先发表系统评价计划书）检索原始研究是否全面及是否评价了发表偏倚纳入及排除标准设置是否恰当是否有重复的文献筛选、资料提取及原始研究质量评价过程（如至少两人独立地进行）是否提供了纳入研究特征表或用文字表述综合各研究结果的方法是否恰当得出

15、结论时是否考虑了纳入研究的质量是否申明利益冲突系统评价再评价工具方法学质量评价工具：OQAQ和AMSTAR报告质量评价工具：PRISMA38Overview Quality Assessment Questionnaire (OQAQ)399个方面，10个条目，其中1个综合评分：AMSTAR 11个条目4041AMSTAR(continued)PRISMA 7个方面27个条目4243PRISMA(continued)注意：44无论何种工具都有其适用条件及局限性，须结合专业及具体情况有选择、有甄别地使用各工具均基于报告内容，研究未报告某些重要影响因素信息时对其评价并不全面有的工具未提供总评价条目

16、，就不必强求总评分，因涉及各条目的权重，本身就是一个需要研究的问题评价的关键是使用者结合具体情况，对影响SR质量的各个方面作出自己的判断评价系统评价的核心问题是评价其可重复性及偏倚控制情况四、实例（一）GRADE应用实例451. GRADE在系统评价中的应用462. GRADE在临床实践指南中的应用（二）系统评价再评价实例47实例148实例249实例350主要参考资料：临床流行病学第三版，王家良主编，上海科学技术出版社，2009循证医学第一版，李幼平主编，人民卫生出版社，2014 中国循证医学杂志GRADE系列译文 J Clin Epidemiol的GRADE系列文章Oxman AD, Guyatt GH, Singer J, et al. Agreement among reviewersof review articles. J Clin Epidemiol, 1991, 44: 91-98.Oxman AD, Guyatt GH. Validation of an index of t