GRADE方法及系统评价的质量评价

1、GRADE方法及系统评价的质量评价,杨晓妍 四川大学 华西临床医学院/华西医院 2015年7月,2,内容：,一、影响研究质量的因素 二、GRADE方法 三、系统评价的质量评价 四、实例,Wan CM,MD PhD,Winter,2002,研究结果的真实可靠,科研道德,随机误差,系统误差,机遇 chance,偏倚 bias,一、影响研究质量的因素,3,4,几个基本概念,试验性研究与非试验性研究 总体与样本 抽样与抽样误差 偏倚与机遇,5,试验性研究： 对可进行人为分组的对象，人为施加某种干预措施，以探讨该措施对各组结局影响的研究 非试验性研究： 亦称观察性研究，指对无法进行人为分组的对象，被动观

2、察各组相关特征的差别，以探讨某因素（特征）在各组间的差异,6,总体： 根据研究目的确定的全体同质观察对象。 样本： 从总体中按一定方式抽取出来的部分观察单位的集合。 抽样： 总体中抽取部分观察单位获得样本的过程。 抽样误差： 样本与总体之间由于抽样过程引起的差异，在统计学上称为抽样误差。,7,偏倚（bias）： 当临床研究受到某些因素的影响，使最终观察的结果一致向真实结果的某一方向偏离的现象，即称为偏倚。是一种系统误差。 机遇（chance）： 又称为概率（probability），是指某一事件发生的可能性大小。对于一个假定完全避免了偏倚的样本作观察时，所得结果仍会与真实情况有一定差异。这是来

3、自于测量过程本身或生物学变异所产生的随机变异（random variation）造成的，这种单纯由机会引起的差异称为机遇，是一种随机误差。,8,偏倚与机遇的关系：,9,观察次数,偏倚,真值,测量值,机遇,偏倚与机遇的关系示意图,指标,10,偏倚的分类 选择性偏倚（selection bias） 测量性偏倚（measurement bias） 混杂性偏倚（confounding bias）,（一）偏倚,11,1.选择性偏倚（selection bias） 定义： 不正确地选择了研究对象，使研究开始时，两组研究对象就存在除研究因素以外的其它因素分布的不均衡性，因而导致研究结果与真实情况之间产生差异

4、。 产生：只要所选的样本不能代表整体特征就可能产生 选择时 分组时,12,选择性偏倚的分类： 组成成员偏倚（membership bias）,试验组,对照组,自愿入组,目标人群,基线情况：试验组 对照组,13,诊断信息偏倚（detection signal bias 或unmasking bias） 在选择纳入观察病例时，因某种与观察内容无直接关系的症状或体征，加速或促进本病的发现，而错误地判定因果关系。 eg：绝经期妇女服用雌激素与子宫内膜癌,86.5% VS 58.4%,其他选择性偏倚,14,2. 测量性偏倚（measurement bias） 定义： 在资料收集阶段，由于观察和测量方法上

5、有缺陷，组间不一致，使各组所获得的信息产生系统误差，即为测量性偏倚（信息偏倚）。 产生： 对两组观察强度或频度差异 实验非规范化操作 影像学资料定性或定量差异,15,测量性偏倚的分类： 疑诊偏倚（diagnostic-suspicious bias），也称期望偏倚 关注组阳性发现 非关注组阳性发现 沾染性偏倚（contamination bias） 差异 干扰性偏倚（co-intervention bias） 差异 其他测量性偏倚,16,3. 混杂性偏倚（confounding bias） 定义： 简称混杂，研究暴露于某因素与某疾病之间的关系时，由于一个或多个既与疾病有关，又与暴露因素相关的外

6、部因素（extraneous）的影响，掩盖或夸大了研究的暴露因素与该疾病的联系。这种影响所带来的误差称为混杂偏倚或混杂。,17,研究因素,疾病结局,非研究因素,真正的关联,观察到的关联,未观察到的关联,混杂因素示意,推断的因果关系,18,产生： 存在两种以上的因素，其中包括研究因素和非研究因素 非研究因素对最后结果有影响，且与研究因素有关 非研究因素不是研究因素与疾病因果关系的中间因素 在研究因素的不同水平，非研究因素的分布不一致,19,eg：服用维生素E与心肌梗死,RR=0.671 （保护因素）,RR=3.38 （危险因素）,发现：,20,吸烟者中：,不吸烟者中：,RR=1.351,RR=1

7、.321,21,偏倚防控,策略: 制定研究方案（计划书）时： 遵循科研设计基本原则（随机、对照、盲法、基线可比） 参照相关质量评价标准 根据偏倚类型、产生阶段及产生原因合理选择控制措施 实施研究时： 参照设计方案严格实施，做好关键点控制 总结研究结果时： 基于研究实施及结果，全面规范报告,22,措施： 设计方案的选择 纳入/排除标准的制定 对照 随机（随机抽样、随机分组） 盲法（盲谁？） 限制 匹配 分层方法（分层抽样、分层随机、分层分析等） 入组后维持均衡性的措施（依从性、失访、是否依从者的特征差异等） 统计分析控制（标准化法、分层分析、多因素分析） 操作层面的控制（技术方案、培训、统一工具

8、并校正、数据录入与质控、分析方法选择与参数设置、全面报告） ,23,影响机遇的因素 1、样本大小主要因素 Rationale for large sample study and meta analysis Various restrictions in practice Threshold set to limit chances effect within an acceptable interval 2、观察对象间的差异大小重要因素 3、观察结果的差异重要参数 4、对两类错误的容许范围 关注真阴性还是真阳性 两类错误的大小仅反映研究受机遇影响的大小，并不代表研究的总体质量,（二）机遇,2

9、4,二、GRADE方法,用于系统评价、卫生技术评估（HTAs）及临床实践指南中备选方案的证据质量评价和推荐强度评级的系统 当前最成熟的应用领域为干预性系统评价和治疗性临床实践指南,25,上述译文见中国循证医学杂志，原文见Journal of Clinical Epidemiology 其他资源：GRADE工作组主页(/),26,GRADE证据质量评价与推荐强度评级,GRADE将证据质量分为高、中、低、极低4级，推荐强度分为强、弱2级，对应解释如下： 证据质量 高： 非常确信（很有把握认为真实值与估计值接近） 中： 信心一般（真实值可

10、能与估计值接近，但存在二者 完全不同的可能性） 低： 信心有限（真实值可能与估计值完全不同） 极低：几乎没什么信心（估计值很不确定）,推荐强度 强：明确显示干预措施利大于弊或弊大于利 弱：利弊不确定或无论质量高低的证据均显示利弊相当,27,影响证据质量的八因素,可能降低级别的因素： 偏倚风险 不一致性（对系统评价） 间接性 不精确性 发表偏倚（对系统评价）,可能升高级别的因素： 效应量大 剂量反应关系 混杂因素会降低效应,起点,起点,28,GRADE分级软件（GRADEprofiler，简称GRADEpro）,该软件可免费下载和安装 （/revman

11、/gradepro）该软件主要用于创建结果总结表（Summary of Findings，SoF）和证据概要表（GRADE evidence profile）,30,结果总结表(Summary of Findings，SoF) 示例 Source: GRADE-1,31,续表：,32,证据概要表(GRADE evidence profile) 示例 Source: GRADE-1,33,续表：,34,三、系统评价的质量评价,系统评价（SR）作为合成证据，是一种重要的证据形式，其信息含量高，是决策的重要基础，但其质量仍存在差异 以系统评价为证据来源的进一步研究综合被称为系统评价再评价（Overv

12、iew），其本质是一种系统评价，是针对同一问题多个系统评价的一种综合研究方法。 Overview在以下情况下可能有用：总结针对某种疾病的多种干预措施证据（最常见），或总结某种干预措施治疗不同疾病的证据，或总结某种干预措施的不良反应（价值有限）。其方法仍在发展中。,35,系统评价再评价（Overview ）的研究现状,20世纪末国外学者开始进行系统评价再评价研究 国内发表的overview始见于2010年，较英、美、澳等国晚十年 至2013年4月检索到十篇中文，之后的两年内发表文献增加了一倍 以“系统评价”和“质量”为主题词检索CNKI（ 2015-6-30 ），检中5486条结果，文献可归纳为

13、： 以发表于某杂志的SR为对象的（如中国循证医学杂志、中华儿科杂志） 以研究领域的SR为对象的（如护理、公共卫生） 以疾病或疾病状况的SR为对象的（如肺癌、脑出血） 以治疗手段的SR为对象的（如针灸、中药等） 以从业者发表的SR为对象的（如药学人员） ,36,评价医学文献的一般原则： 真实性（研究方法是否科学合理） 如治疗性研究的对照设置、随机化及隐蔽分组、盲法、是否按分配组别分析全部研究对象等等 重要性（研究结果是否有价值） 如相对效应与绝对效应（RRR和ARR），NNT，效应的一致性，效应估计的精确性（95% CI），统计学意义与临床意义等；灵敏度、特异度、阳性及阴性预测值等（对诊断性研究

14、） 适用性（研究结果是否可推广） 如患者特点、干预措施是否适用、价值观等,37,评价系统评价需要考虑的方面：,应从其制作全过程的各关键环节展开，如： 提出的决策问题是否恰当 该问题是否在进行系统评价前即已提出（对Cochrane系统评价必须事先发表系统评价计划书） 检索原始研究是否全面及是否评价了发表偏倚 纳入及排除标准设置是否恰当 是否有重复的文献筛选、资料提取及原始研究质量评价过程（如至少两人独立地进行） 是否提供了纳入研究特征表或用文字表述 综合各研究结果的方法是否恰当 得出结论时是否考虑了纳入研究的质量 是否申明利益冲突 ,38,系统评价再评价工具,方法学质量评价工具：OQAQ和AMS

15、TAR 报告质量评价工具：PRISMA,39,Overview Quality Assessment Questionnaire (OQAQ),9个方面，10个条目，其中1个综合评分：,40,AMSTAR 11个条目,40,41,AMSTAR(continued),42,PRISMA 7个方面27个条目,43,PRISMA(continued),44,注意：,无论何种工具都有其适用条件及局限性，须结合专业及具体情况有选择、有甄别地使用 各工具均基于报告内容，研究未报告某些重要影响因素信息时对其评价并不全面 有的工具未提供总评价条目，就不必强求总评分，因涉及各条目的权重，本身就是一个需要研究的问

16、题 评价的关键是使用者结合具体情况，对影响SR质量的各个方面作出自己的判断 评价系统评价的核心问题是评价其可重复性及偏倚控制情况,45,四、实例（一）GRADE应用实例,1. GRADE在系统评价中的应用,46,2. GRADE在临床实践指南中的应用,47,（二）系统评价再评价实例,实例1,48,实例2,49,实例3,50,主要参考资料： 临床流行病学第三版，王家良主编，上海科学技术出版社，2009 循证医学第一版，李幼平主编，人民卫生出版社，2014 中国循证医学杂志GRADE系列译文 J Clin Epidemiol的GRADE系列文章 Oxman AD, Guyatt GH, Singer J, et al. Agreement among reviewers of review articles. J Clin Epidemiol, 1991, 44: 91-98. Oxman AD, Guyatt GH. Validation of an index of the quality of review ar