GRADE方法及系统评价的质量评价课件

1、GRADE方法及系统评价的质量评价杨晓妍四川大学 华西临床医学院/华西医院2015年7月内容：一、影响研究质量的因素二、GRADE方法三、系统评价的质量评价四、实例2研究结果的真实可靠 科研道德随机误差系统误差机遇chance偏倚bias一、影响研究质量的因素Winter,2002 3Wan CM,MD PhD几个基本概念试验性研究与非试验性研究总体与样本抽样与抽样误差偏倚与机遇4试验性研究： 对可进行人为分组的对象，人为施加某种干预措施，以探讨该措施对各组结局影响的研究非试验性研究： 亦称观察性研究，指对无法进行人为分组的对象，被动观察各组相关特征的差别，以探讨某因素（特征）在各组间的差异5

2、偏倚（bias）： 当临床研究受到某些因素的影响，使最终观察的结果一致向真实结果的某一方向偏离的现象，即称为偏倚。是一种系统误差。机遇（chance）： 又称为概率（probability），是指某一事件发生的可能性大小。对于一个假定完全避免了偏倚的样本作观察时，所得结果仍会与真实情况有一定差异。这是来自于测量过程本身或生物学变异所产生的随机变异（random variation）造成的，这种单纯由机会引起的差异称为机遇，是一种随机误差。7偏倚与机遇的关系：偏倚机遇共性：任何类型研究任何研究阶段影响真实性不同点：本质系统误差随机误差方向性 有无能否避免能不能控制方法完善设计、分析手段，客观测量

3、 扩大样本，限制大小8偏倚的分类选择性偏倚（selection bias）测量性偏倚（measurement bias）混杂性偏倚（confounding bias）（一）偏倚101.选择性偏倚（selection bias）定义： 不正确地选择了研究对象，使研究开始时，两组研究对象就存在除研究因素以外的其它因素分布的不均衡性，因而导致研究结果与真实情况之间产生差异。产生：只要所选的样本不能代表整体特征就可能产生选择时分组时11选择性偏倚的分类：组成成员偏倚（membership bias） 试验组对照组自愿入组目标人群基线情况：试验组 对照组122. 测量性偏倚（measurement bi

4、as）定义： 在资料收集阶段，由于观察和测量方法上有缺陷，组间不一致，使各组所获得的信息产生系统误差，即为测量性偏倚（信息偏倚）。产生：对两组观察强度或频度差异实验非规范化操作影像学资料定性或定量差异14测量性偏倚的分类：疑诊偏倚（diagnostic-suspicious bias），也称期望偏倚 关注组阳性发现 非关注组阳性发现沾染性偏倚（contamination bias） 差异干扰性偏倚（co-intervention bias） 差异其他测量性偏倚15研究因素疾病结局非研究因素真正的关联观察到的关联未观察到的关联混杂因素示意推断的因果关系17产生：存在两种以上的因素，其中包括研究因

5、素和非研究因素非研究因素对最后结果有影响，且与研究因素有关非研究因素不是研究因素与疾病因果关系的中间因素在研究因素的不同水平，非研究因素的分布不一致18eg：服用维生素E与心肌梗死 组别心肌梗死有无服用维生素E400600未服用维生素E600400RR=0.671RR=1.32120偏倚防控策略: 制定研究方案（计划书）时：遵循科研设计基本原则（随机、对照、盲法、基线可比）参照相关质量评价标准根据偏倚类型、产生阶段及产生原因合理选择控制措施实施研究时： 参照设计方案严格实施，做好关键点控制总结研究结果时： 基于研究实施及结果，全面规范报告21措施：设计方案的选择纳入/排除标准的制定对照随机（随

6、机抽样、随机分组）盲法（盲谁？）限制匹配分层方法（分层抽样、分层随机、分层分析等）入组后维持均衡性的措施（依从性、失访、是否依从者的特征差异等）统计分析控制（标准化法、分层分析、多因素分析）操作层面的控制（技术方案、培训、统一工具并校正、数据录入与质控、分析方法选择与参数设置、全面报告）22二、GRADE方法用于系统评价、卫生技术评估（HTAs）及临床实践指南中备选方案的证据质量评价和推荐强度评级的系统当前最成熟的应用领域为干预性系统评价和治疗性临床实践指南24上述译文见中国循证医学杂志，原文见Journal of Clinical Epidemiology其他资源：GRADE工作组主页(/)

7、25影响证据质量的八因素可能降低级别的因素：偏倚风险不一致性（对系统评价）间接性不精确性发表偏倚（对系统评价）可能升高级别的因素：效应量大剂量反应关系混杂因素会降低效应起点起点2728GRADE分级软件（GRADEprofiler，简称GRADEpro）该软件可免费下载和安装（/revman/gradepro）该软件主要用于创建结果总结表（Summary of Findings，SoF）和证据概要表（GRADE evidence profile）结果总结表(Summary of Findings，SoF) 示例 Source: GRADE-130续表：31证据概要表(GRADE evidenc

8、e profile) 示例 Source: GRADE-132续表：33三、系统评价的质量评价系统评价（SR）作为合成证据，是一种重要的证据形式，其信息含量高，是决策的重要基础，但其质量仍存在差异以系统评价为证据来源的进一步研究综合被称为系统评价再评价（Overview），其本质是一种系统评价，是针对同一问题多个系统评价的一种综合研究方法。Overview在以下情况下可能有用：总结针对某种疾病的多种干预措施证据（最常见），或总结某种干预措施治疗不同疾病的证据，或总结某种干预措施的不良反应（价值有限）。其方法仍在发展中。34系统评价再评价（Overview ）的研究现状 20世纪末国外学者开始进

9、行系统评价再评价研究 国内发表的overview始见于2010年，较英、美、澳等国晚十年 至2013年4月检索到十篇中文，之后的两年内发表文献增加了一倍 以“系统评价”和“质量”为主题词检索CNKI（ 2015-6-30 ），检中5486条结果，文献可归纳为：以发表于某杂志的SR为对象的（如中国循证医学杂志、中华儿科杂志）以研究领域的SR为对象的（如护理、公共卫生）以疾病或疾病状况的SR为对象的（如肺癌、脑出血）以治疗手段的SR为对象的（如针灸、中药等）以从业者发表的SR为对象的（如药学人员） 35评价医学文献的一般原则： 真实性（研究方法是否科学合理） 如治疗性研究的对照设置、随机化及隐蔽分

10、组、盲法、是否按分配组别分析全部研究对象等等重要性（研究结果是否有价值） 如相对效应与绝对效应（RRR和ARR），NNT，效应的一致性，效应估计的精确性（95% CI），统计学意义与临床意义等；灵敏度、特异度、阳性及阴性预测值等（对诊断性研究）适用性（研究结果是否可推广） 如患者特点、干预措施是否适用、价值观等36评价系统评价需要考虑的方面：应从其制作全过程的各关键环节展开，如：提出的决策问题是否恰当该问题是否在进行系统评价前即已提出（对Cochrane系统评价必须事先发表系统评价计划书）检索原始研究是否全面及是否评价了发表偏倚纳入及排除标准设置是否恰当是否有重复的文献筛选、资料提取及原始研究

11、质量评价过程（如至少两人独立地进行）是否提供了纳入研究特征表或用文字表述综合各研究结果的方法是否恰当得出结论时是否考虑了纳入研究的质量是否申明利益冲突37系统评价再评价工具方法学质量评价工具：OQAQ和AMSTAR报告质量评价工具：PRISMA38Overview Quality Assessment Questionnaire (OQAQ)9个方面，10个条目，其中1个综合评分：39AMSTAR 11个条目4040AMSTAR(continued)41PRISMA 7个方面27个条目42PRISMA(continued)43注意：无论何种工具都有其适用条件及局限性，须结合专业及具体情况有选择

12、、有甄别地使用各工具均基于报告内容，研究未报告某些重要影响因素信息时对其评价并不全面有的工具未提供总评价条目，就不必强求总评分，因涉及各条目的权重，本身就是一个需要研究的问题评价的关键是使用者结合具体情况，对影响SR质量的各个方面作出自己的判断评价系统评价的核心问题是评价其可重复性及偏倚控制情况44四、实例（一）GRADE应用实例1. GRADE在系统评价中的应用452. GRADE在临床实践指南中的应用46（二）系统评价再评价实例实例147实例248实例349主要参考资料：临床流行病学第三版，王家良主编，上海科学技术出版社，2009循证医学第一版，李幼平主编，人民卫生出版社，2014 中国循证医学杂志GRADE系列译文 J Clin Epidemiol的GRADE系列文章Oxman AD, Guyatt GH, Singer J, et al. Agreement among reviewersof review articles. J Clin Epidemiol, 1991, 44: 91-98.Oxman AD, Guyatt GH. Validation of an index of the quality of reviewarticles. J Clin Epidemiol, 1991, 44: 1271-1278.Shea B