GRADE方法及系统评价的质量评价

GRADE方法及系统评价的质量评价杨晓妍四川大学华西临床医学院/华西医院2015年7月内容：2一、影响研究究质量的因素二、GRADE方法三、系统评评价的质质量评价价四、实例WanCM,,MDPhDWinter,,2002研究结果果的真实实可靠科研道德德随机误差差系统误差差机遇chance偏倚bias一、影响研研究质量量的因素3几个基本本概念4试验性研研究与非非试验性性研究总体与样样本抽样与抽抽样误差差偏倚与机机遇5试验性研研究：对可进行行人为分分组的对对象，人人为施加加某种干干预措施施，以探探讨该措措施对各各组结局局影响的的研究非试验性性研究：：亦称观察察性研究究，指对对无法进行人为为分组的的对象，被动观观察各组组相关特特征的差差别，以以探讨某某因素（（特征））在各组组间的差差异6总体：根据研究目的的确定的全体同质观察对象象。样本：从总体中按按一定方方式抽取取出来的的部分观观察单位位的集合合。抽样：总体中抽取部部分观察察单位获获得样本本的过程程。抽样误差差：样本与总体之之间由于于抽样过过程引起起的差异异，在统统计学上上称为抽抽样误差差。7偏倚（bias）：当临床研究究受到某某些因素素的影响响，使最最终观察察的结果果一致向向真实结结果的某某一方向向偏离的的现象，，即称为为偏倚。。是一种种系统误误差。机遇（chance）：又称为概率率（probability），是指指某一事事件发生生的可能能性大小小。对于于一个假假定完全全避免了了偏倚的的样本作作观察时时，所得结果果仍会与真真实情况况有一定定差异。。这是来自于测量过过程本身身或生物物学变异异所产生生的随机机变异（（randomvariation）造成的，，这种单单纯由机会引起的差差异称为为机遇，，是一种种随机误误差。8偏倚与机机遇的关关系：偏倚机遇共性：任何类型研究任何研究阶段影响真实性不同点：本质系统误差随机误差方向性有 无能否避免能不能控制方法完善设计、分析手段，客观测量扩大样本，限制大小9观察次数数偏倚真值测量值机遇●●●●●●●●●●●●●●●●●●●●●●●●●●●●●偏倚与机机遇的关关系示意意图指标●●10偏倚的分分类选择性偏倚（selectionbias）测量性偏倚（（measurementbias）混杂性偏倚（（confoundingbias）（一）偏偏倚111.选择性偏倚（selectionbias）定义：不正确地地选择了了研究对对象，使使研究开开始时，，两组研研究对象象就存在在除研究究因素以以外的其其它因素素分布的的不均衡衡性，因因而导致致研究结结果与真真实情况况之间产产生差异异。产生：只只要所选选的样本本不能代代表整体体特征就就可能产产生选择时分组时12选择性偏偏倚的分分类：组成成员偏倚倚（membershipbias）

试验组对照组自愿入组组目标人群群基线情况况：试验验组≠对照组13诊断信息息偏倚（（detectionsignalbias或unmaskingbias）在选择纳纳入观察察病例时时，因某某种与观观察内容容无直接接关系的的症状或或体征，，加速或或促进本本病的发发现，而而错误地地判定因因果关系系。eg：绝经期期妇女服服用雌激激素与子子宫内膜膜癌组别以阴道出血纳入观察子宫内膜癌病例以病理诊断纳入观察子宫内膜癌病例有无合计有无合计服用雌激素457525942101未服用雌激素7211018289106195OR=9.8OR=1.786.5%VS58.4%其他选择择性偏倚倚142.测量性偏倚（measurementbias）定义：在资料收集集阶段，，由于观观察和测测量方法法上有缺缺陷，组组间不一一致，使使各组所所获得的的信息产产生系统统误差，，即为测测量性偏倚（信信息偏倚倚）。产生：对两组观观察强度度或频度度差异实验非规规范化操操作影像学资资料定性性或定量量差异15测量性偏偏倚的分分类：疑诊偏倚倚（diagnostic-suspiciousbias），也称称期望偏倚关关注组阳阳性发现现非非关注注组阳性性发现沾染性偏偏倚（contaminationbias）差异干扰性偏偏倚（co-interventionbias）差差异其他测量量性偏倚倚163.混杂性偏倚（confoundingbias）定义：简称混杂杂，研究究暴露于某某因素与与某疾病病之间的的关系时时，由于于一个或或多个既既与疾病病有关，，又与暴暴露因素素相关的的外部因因素（extraneous）的影响响，掩盖盖或夸大大了研究究的暴露露因素与与该疾病病的联系系。这种种影响所所带来的的误差称称为混杂杂偏倚或或混杂。。17研究因素素疾病结局局非研究因因素真正的关关联观察到的的关联未观察到到的关联联混杂因素素示意推断的因因果关系系18产生：存在两种种以上的因素，其其中包括括研究因因素和非非研究因因素非研究因素素对最后后结果有有影响，，且与研研究因素有关关非研究因素不是是研究因素素与疾病病因果关关系的中中间因素在研究因素素的不同同水平，，非研究究因素的的分布不不一致19eg：服用维维生素E与心肌梗梗死组别心肌梗死有无服用维生素E400600未服用维生素E600400RR=0.67<1（保护因因素）组别心肌梗死有无吸烟820350不吸烟180670RR=3.38（危险因因素）发现：20组别吸烟吸烟率（%）有无服用维生素E27073027未服用维生素E88012088组别心肌梗死有无服用维生素E24030未服用维生素E580300吸烟者中中：不吸烟者者中：组别心肌梗死有无服用维生素E160570未服用维生素E20100RR=1.35>1RR=1.32>1偏倚防控控21策略:制定研究究方案（（计划书书）时：遵循科研设计计基本原原则（随随机、对对照、盲盲法、基基线可比比）参照相关质量量评价标准根据偏倚倚类型、、产生阶阶段及产产生原因因合理选选择控制制措施实施研究究时：参照设计计方案严严格实施施，做好好关键点点控制总结研究究结果时时：基于研究究实施及及结果，全全面规范范报告22措施：设计方案案的选择择纳入/排除标准的制制定对照随机（随随机抽样样、随机机分组））盲法（盲谁谁？）限制匹配分层方法（分分层抽样样、分层层随机、、分层分析等））入组后维维持均衡衡性的措施（（依从性性、失访访、是否否依从者者的特征征差异等等）统计分析析控制（（标准化法、分层分析、多多因素分分析）操作层面面的控制制（技术术方案、、培训、、统一工工具并校校正、数数据录入入与质控控、分析析方法选选择与参参数设置置、全面面报告））……23影响机遇的因因素1、样本大小——主要因素素RationaleforlargesamplestudyandmetaanalysisVariousrestrictionsinpracticeThresholdsettolimitchance’seffectwithinanacceptableinterval2、观察对对象间的的差异大大小——重要因素素3、观察结结果的差差异——重要参数数4、对两类类错误的的容许范范围关注真阴阴性还是是真阳性性两类错误误的大小小仅反映映研究受受机遇影影响的大大小，并并不代表表研究的的总体质质量（二）机机遇二、GRADE方法24用于系统评价价、卫生技术术评估（HTAs）及临床实实践指南南中备选选方案的的证据质质量评价价和推荐荐强度评评级的系统当前最成成熟的应应用领域域为干预预性系统统评价和和治疗性性临床实实践指南南25GRADE证据质量量评价与与推荐强强度评级级26GRADE将证据质质量分为为高、中中、低、、极低4级，推荐荐强度分分为强、、弱2级，对应解解释如下下：证据质量量高：非常确信信（很有把把握认为为真实值值与估计计值接近近）中：信心一般般（真实值值可能与与估计值值接近，，但存在在二者完全不同同的可能能性）低：信心有限（真真实值可可能与估估计值完完全不同同）极低：几乎没什什么信心心（估计值值很不确确定）推荐强度度强：明确显示示干预措措施利大大于弊或或弊大于于利弱：利弊不确确定或无无论质量量高低的的证据均均显示利弊弊相当影响证据据质量的的八因素27可能降低级别的因因素：偏倚风险险不一致性性（对系系统评价价）间接性不精确性性发表偏倚倚（对系系统评价价）可能升高级别的因因素：效应量大大剂量反应应关系混杂因素素会降低低效应起点起点28GRADE分级软件件（GRADEprofiler，简称GRADEpro）该软件可可免费下载和安安装（http:////revman//gradepro）该软件主主要用于于创建结果总结结表（SummaryofFindings，SoF）和证据概要要表（GRADEevidenceprofile）结果总结结表(SummaryofFindings，SoF))示例Source::GRADE-130续表：31证据概要要表(GRADEevidenceprofile)示例Source::GRADE-13233续表：三、系统统评价的的质量评价价34系统评价价（SR）作为合合成证据据，是一种重要的证据形式，其其信息含量高，是决决策的重重要基础础，但其其质量仍仍存在差差异以系统评评价为证证据来源源的进一一步研究究综合被被称为系系统评价价再评价价（Overview），其本本质是一种系统评评价，是是针对同同一问题题多个系系统评价价的一种种综合研研究方法法。Overview在以下情况况下可能能有用：：总结针针对某种种疾病的的多种干干预措施施证据（（最常见见），或或总结某某种干预预措施治治疗不同同疾病的的证据，，或总结结某种干干预措施施的不良良反应（（价值有有限）。。其方法法仍在发展中中。系统评价价再评价（Overview）的研究现状状20世纪末国国外学者者开始进进行系统统评价再再评价研研究国内发表表的overview始见于2010年，较英英、美、、澳等国国晚十年年至2013年4月检索到到十篇中中文，之之后的两两年内发发表文献献增加了了一倍以“系统统评价””和“质质量”为为主题词词检索CNKI（2015-6--30），检中中5486条结果，文献可可归纳为为：以发表于某某杂志的SR为对象的（如《中国循证证医学杂杂志》、《中华儿科科杂志》）以研究领域的SR为对象的（（如护理理、公共共卫生）以疾病或疾疾病状况的SR为对象的（（如肺癌癌、脑出出血）以治疗手段的SR为对象的（（如针灸灸、中药药等）以从业者者发表的SR为对象的（（如药学学人员）……3536评价医学文献献的一般般原则：真实性（（研究方方法是否否科学合合理）如治疗性性研究的的对照设设置、随随机化及及隐蔽分分组、盲盲法、是是否按分分配组别别分析全全部研究究对象等等等重要性（（研究结结果是否否有价值值）如相对效效应与绝绝对效应应（RRR和ARR），NNT，效应的一一致性，，效应估计计的精确确性（95%CI），统计计学意义义与临床床意义等等；灵敏敏度、特特异度、、阳性及及阴性预预测值等等（对诊诊断性研究）适用性（（研究结结果是否否可推广广）如患者特特点、干干预措施施是否适适用、价价值观等等评价系统评价价需要考考虑的方方面：37应从其制制作全过过程的各各关键环环节展开，如：提出的决策问问题是否否恰当该问题是否否在进行行系统评评价前即即已提出出（对Cochrane系统评价价必须事事先发表表系统评评价计划划书）检索原始研究究是否全全面及是是否评价价了发表表偏倚纳入及排除标标准设置置是否恰当是否有重复的的文献筛筛选、资资料提取取及原始始研究质质量评价价过程（（如至少少两人独独立地进进行）是否提供了纳纳入研究究特征表表或用文文字表述综合各研究结结果的方方法是否否恰当得出结论时是是否考虑虑了纳入入研究的的质量是否申明利益益冲突……系统评价价再评价工具方法学质质量评价价工具：：OQAQ和AMSTAR报告质量量评价工工具：PRISMA38OverviewQualityAssessmentQuestionnaire((OQAQ)399个方面，10个条目，，其中1个综合评评分：AMSTAR11个条目4041AMSTAR((continued)PRISMA7个方面27个条目4243PRISMA((continued)注意：44无论何种工具具都有其其适用条条件及局局限性，须结合专业及具体情况况有选择、有有甄别地地使用各工具均基于报告内容容，研究未报告某些些重要影响因素素信息时对其评价并不全面有的工具未未提供总总评价条条目，就就不必强求总评评分，因涉及各条目的的权重，，本身就就是一个个需要研研究的问题评价的关键是使用者结合具具体情况，对影响SR质量的各个方面面作出自自己的判断评价系统统评价的的核心问题题是评价