GRADE方法及系统评价的质量评价培训课件

GRADE方法及系统评价的质量评价杨晓妍四川大学华西临床医学院/华西医院2015年7月内容：2一、影响研究质量的因素二、GRADE方法三、系统评价的质量评价四、实例 Winter,2002研究结果的真实可靠科研道德随机误差系统误差机遇chance偏倚bias一、影响研究质量的因素3几个基本概念4试验性研究与非试验性研究总体与样本抽样与抽样误差偏倚与机遇5试验性研究：

对可进行人为分组的对象，人为施加某种干预措施，以探讨该措施对各组结局影响的研究非试验性研究：

亦称观察性研究，指对无法进行人为分组的对象，被动观察各组相关特征的差别，以探讨某因素（特征）在各组间的差异6总体：

根据研究目的确定的全体同质观察对象。样本：

从总体中按一定方式抽取出来的部分观察单位的集合。抽样：

总体中抽取部分观察单位获得样本的过程。抽样误差：

样本与总体之间由于抽样过程引起的差异，在统计学上称为抽样误差。7偏倚（bias）：

当临床研究受到某些因素的影响，使最终观察的结果一致向真实结果的某一方向偏离的现象，即称为偏倚。是一种系统误差。机遇（chance）：

又称为概率（probability），是指某一事件发生的可能性大小。对于一个假定完全避免了偏倚的样本作观察时，所得结果仍会与真实情况有一定差异。这是来自于测量过程本身或生物学变异所产生的随机变异（randomvariation）造成的，这种单纯由机会引起的差异称为机遇，是一种随机误差。8偏倚与机遇的关系：偏倚机遇共性：任何类型研究任何研究阶段影响真实性不同点：本质系统误差随机误差方向性有 无能否避免能不能控制方法完善设计、分析手段，客观测量扩大样本，限制大小9观察次数偏倚真值测量值机遇●●●●●●●●●●●●●●●●●●●●●●●●●●●●●偏倚与机遇的关系示意图指标●●10偏倚的分类选择性偏倚（selectionbias）测量性偏倚（measurementbias）混杂性偏倚（confoundingbias）（一）偏倚111.选择性偏倚（selectionbias）定义：不正确地地选择了了研究对对象，使使研究开开始时，，两组研研究对象象就存在在除研究究因素以以外的其其它因素素分布的的不均衡衡性，因因而导致致研究结结果与真真实情况况之间产产生差异异。产生：只只要所选选的样本本不能代代表整体体特征就就可能产产生选择时分组时12选择性偏偏倚的分分类：组成成员偏倚倚（membershipbias）试验组对照组自愿入组组目标人群群基线情况况：试验验组≠对照组13诊断信息息偏倚（（detectionsignalbias或unmaskingbias）在选择纳纳入观察察病例时时，因某某种与观观察内容容无直接接关系的的症状或或体征，，加速或或促进本本病的发发现，而而错误地地判定因因果关系系。eg：绝经期期妇女服服用雌激激素与子子宫内膜膜癌组别以阴道出血纳入观察子宫内膜癌病例以病理诊断纳入观察子宫内膜癌病例有无合计有无合计服用雌激素457525942101未服用雌激素7211018289106195OR=9.8OR=1.786.5%VS58.4%其他选择择性偏倚倚142.测量性偏倚（measurementbias）定义：在资料收集集阶段，，由于观观察和测测量方法法上有缺缺陷，组组间不一一致，使使各组产生：对两组观察强度或频度差异实验非规范化操作影像学资料定性或定量差异15测量性疑诊偏倚（diagnostic-suspiciousbias），也称期望偏倚关注组阳性发现非关注组阳性发现沾染性偏倚（contaminationbias）差异干扰性偏倚（co-interventionbias）差异其他测量性偏倚163.混杂性偏倚（confoundingbias）定义：简称混杂，，研究暴露于某因因素与某疾疾病之间的的关系时，，由于一个个或多个既既与疾病有有关，又与与暴露因素素相关的外外部因素（（extraneous）的影响，，掩盖或夸夸大了研究究的暴露因因素与该疾疾病的联系系。这种影影响所带来来的误差称称为混杂偏偏倚或混杂杂。17研究因素疾病结局非研究因素素真正的关联联观察到的关关联未观察到的的关联混杂因素示示意推断的因果果关系18产生：存在两种以上的因素，其中中包括研究究因素和非非研究因素素非研究因素对对最后结果果有影响，，且与研究究因素有关非研究因素不是研究因素与与疾病因果果关系的中中间因素在研究因素的的不同水平平，非研究究因素的分分布不一致致19eg：服用维生生素E与心肌梗死死组别心肌梗死有无服用维生素E400600未服用维生素E600400RR=0.67<1（保护因素素）组别心肌梗死有无吸烟820350不吸烟180670RR=3.38（危险因素素）发现：20组别吸烟吸烟率（%）有无服用维生素E27073027未服用维生素E88012088组别心肌梗死有无服用维生素E24030未服用维生素E580300吸烟者中：：不吸烟者中中：组别心肌梗死有无服用维生素E160570未服用维生素E20100RR=1.35>1RR=1.32>1偏倚防控21策略:制定研究方方案（计划划书）时：遵循科研设计基基本原则（（随机、对对照、盲法法、基线可可比）参照相关质量评评价标准根据偏倚类类型、产生生阶段及产产生原因合合理选择控控制措施实施研究时时：参照设计方方案严格实实施，做好好关键点控控制总结研究结结果时：基于研究实实施及结果，全面面规范报告告22措施：设计方案的的选择纳入/排除标准的制定定对照随机（随机机抽样、随随机分组））盲法（盲谁？？）限制匹配分层方法（分层层抽样、分分层随机、、分层分析等）入组后维持持均衡性的措施（依依从性、失失访、是否否依从者的的特征差异异等）统计分析控控制（标准化法、分层分析、多因因素分析））操作层面的的控制（技技术方案、、培训、统统一工具并并校正、数数据录入与与质控、分分析方法选选择与参数数设置、全全面报告））……23影响机遇的因素素1、样本大小——主要因素RationaleforlargesamplestudyandmetaanalysisVariousrestrictionsinpracticeThresholdsettolimitchance’seffectwithinanacceptableinterval2、观察对象象间的差异异大小——重要因素3、观察结果果的差异——重要参数4、对两类错错误的容许许范围关注真阴性性还是真阳阳性两类错误的的大小仅反反映研究受受机遇影响响的大小，，并不代表表研究的总总体质量（二）机遇遇二、GRADE方法24用于系统评价、、卫生技术评评估（HTAs）及临床实践践指南中备备选方案的的证据质量量评价和推推荐强度评评级的系统当前最成熟熟的应用领领域为干预预性系统评评价和治疗疗性临床实实践指南25GRADE证据质量评评价与推荐荐强度评级级26GRADE将证据质量量分为高、、中、低、、极低4级，推荐强强度分为强强、弱2级，对应解释释如下：证据质量高：非常确信（很有把握握认为真实实值与估计计值接近））中：信心一般（真实值可可能与估计计值接近，，但存在二二者完全不同的的可能性））低：信心有限（真实实值可能与与估计值完完全不同））极低：几乎没什么么信心（估计值很很不确定））推荐强度强：明确显示干干预措施利利大于弊或或弊大于利利弱：利弊不确定定或无论质质量高低的的证据均显示利弊相当影响证据质质量的八因素27可能降低级别的因素素：偏倚风险不一致性（（对系统评评价）间接性不精确性发表偏倚（（对系统评评价）可能升高级别的因素素：效应量大剂量反应关关系混杂因素会会降低效应应起点起点28GRADE分级软件（（GRADEprofiler，简称GRADEpro）该软件可免免费下载和安装装（/revman/gradepro）该软件主要要用于创建建结果总结表表（SummaryofFindings，SoF）和证据概要表表（GRADEevidenceprofile）结果总结表表(SummaryofFindings，SoF)示例Source:GRADE-130续表：31证据概要表表(GRADEevidenceprofile)示例Source:GRADE-13233续表：三、系统评评价的质量评价34系统评价（（SR）作为合成成证据，是一种重要的证据形式，其信信息含量高，是决策策的重要基基础，但其其质量仍存存在差异以系统评价价为证据来来源的进一一步研究综综合被称为为系统评价价再评价（（Overview），其本质质是一种系统评价价，是针对对同一问题题多个系统统评价的一一种综合研研究方法。。Overview在以下情况下下可能有用用：总结针针对某种疾疾病的多种种干预措施施证据（最最常见），，或总结某某种干预措措施治疗不不同疾病的的证据，或或总结某种种干预措施施的不良反反应（价值值有限）。。其方法仍仍在发展中。。系统评价再评价（Overview）的研究现状20世纪末国外外学者开始始进行系统统评价再评评价研究国内发表的的overview始见于2010年，较英、、美、澳等等国晚十年年至2013年4月检索到十十篇中文，，之后的两两年内发表表文献增加加了一倍以“系统评评价”和““质量”为为主题词检检索CNKI（2015-6-30），检中5486条结果，文献可归归纳为：以发表于某杂志的SR为对象的（如《中国循证医医学杂志》、《中华儿科杂杂志》）以研究领域的SR为对象的（如如护理、公公共卫生）以疾病或疾病病状况的SR为对象的（如如肺癌、脑脑出血）以治疗手段的SR为对象的（如如针灸、中中药等）以从业者发表的SR为对象的（如如药学人员员）……3536评价医学文献的的一般原则：真实性（研研究方法是是否科学合合理）如治疗性研研究的对照照设置、随随机化及隐隐蔽分组、、盲法、是是否按分配配组别分析析全部研究究对象等等等重要性（研研究结果是是否有价值值）如相对效应应与绝对效效应（RRR和ARR），NNT，效应的一致致性，效应估计的的精确性（（95%CI），统计学学意义与临临床意义等等；灵敏度度、特异度度、阳性及及阴性预测测值等（对对诊断性研究）适用性（研研究结果是是否可推广广）如患者特点点、干预措措施是否适适用、价值值观等评价系统评价需需要考虑的的方面：37应从其制作作全过程的的各关键环环节展开，如：提出的决策问题题是否恰当该问题是否在在进行系统统评价前即即已提出（（对Cochrane系统评价必必须事先发发表系统评评价计划书书）检索原始研究是是否全面及及是否评价价了发表偏倚纳入及排除标准准设置是否否恰当是否有重复的文文献筛选、、资料提取取及原始研研究质量评评价过程（（如至少两两人独立地地进行）是否提供了纳入入研究特征征表或用文文字表述综合各研究结果果的方法是是否恰当得出结论时是否否考虑了纳纳入研究的的质量是否申明利益冲突……系统评价再评价工具方法学质量量评价工具具：OQAQ和AMSTAR报告质量评评价工具：：PRISMA38OverviewQualityAssessmentQuestionnaire(OQAQ)399个方面，10个条目，其其中1个综合评分分：AMSTAR11个条目4041AMSTAR(continued)PRISMA7个方面27个条目4243PRISMA(continued)注意：44无论何种工具都都有其适用用条件及局局限性，须结合专业及具体情况有选择、有甄甄别地使用各工具均基于报告内容，，研究未报告某些重重要影响因素信信息时对其评价并不全面有的工具未提提供总评价价条目，就就不必强求总评分分，因涉及各条目的权权重，本身身就是一个个需要研究究的问题评价的关键是使用者结合具体体情况，对影响SR质量的各个方面作作出自己的的判断评价系统评评价的核心问题是是评价其可可重复性及及偏倚控制制情况四、实例（一）GRADE应用实例451.GRADE在系统评价价中的应用用462.GRADE在临床实践践指南中的的应用（二）系统统评价再评评价实例47实例148实例249实例350主要参考资料：：《临床流流行病病学》第三版版，王王家良良主编