系统评价几要素

系统评价几要素,方法学约定俗成的方法结果的实用性和可复制性降低偏倚,系统综述Systematic Review,华山医院 王倩,系统评价的目的在于评判目标实现的程度系 统 评 价 指 标 体 系 的 构 成 方 法 ？具体临床问题用统计方法进行综合，得到定量结果结论更真实、可靠，被推荐为疗效评价的金标准为临床治疗实践提供可靠依据为临床科研提供立题依据，避免重复研究,3.3.1. 经验评价方法 专家打分法 专家用两两比较法评价 连环比例法（淘汰法）都是目标“有序化”的方法 3.3.2. 价值分析法 3.3.3. 模糊（Fuzzy）综合评价法 模糊概念 模糊综合评价步骤 3.3.4. 因子分析法,3.3 系统评价方法,老系统,新系统,老系统,新系统1,新系统2,新系统n,老系统,新系统,直接法,阶梯法,并行法,系统试运行与切换(续),切换的方法,系统评价,评价贯穿系统建设的全过程，尤其在设计、实施阶段更为重要。它分析系统的处理，以确保系统能按期望运行。系统评价通常涉及：设计中对系统的运行及收益的要求与系统实际运行情况及收益进行比较系统运行后，重新估价设计中的成本、控制等复杂因素。评价的问题反馈给建设的各阶段以便重新处理,综述的类型,叙述性的文献综述系统综述,叙述性的文献综述,综合性描述，反映过去、现况、发展方向选题：近年有较大进展的某一专题存在较多争议的某一专题，需要加以归纳整理，并提出一些作者自己的观点。,叙述性的文献综述：格式,前言：撰写综述的理由、目的、意义、背景正文对论述的问题分析归纳，按时间顺序纵向描述或按国际、国内横向论述或纵横结合总结得出结论，指出有待解决的问题,系统综述与传统综述的共同点,目的提供新知识和信息，让读者在短时间内了解某专题的研究概况和发展方向获得解决某一临床问题的方法回顾性、观察性均可能存在系统偏倚和随机错误不同点 减少偏倚程度的不同,传统的综述,作者的观点有一定倾向性缺乏统一的检索方法筛选文献没有严格的统一的标准对原始文献的质量考虑较少定性总结结论可能不完整重复性一般较差,系统综述,针对具体临床问题收集所有的文献根据科学标准评估，删除无科学性文献，并在讨论中说明将符合条件文章的结果加以定量综合格式与论著相同,作为论著发表的,系统综述的格式,题目摘要：结构式前言方法文献检索、研究的选择、质量评估数据摘录、研究特征、数据定量综合方法结果描述研究特征、数据定量综合讨论,系统评价的步骤,1. 提出问题2. 确定系统综述目的，制定计划书3. 检索并选择研究4. 对纳入的研究进行质量评价5. 收集资料6. 分析、形成结果7. 解释结果8. 系统综述的改进与更新,提出并形成系统综述的问题,科学性、临床意义可能得到回答问题的构成要素：简明、准确、具体研究对象干预类型评价的结局,系统综述研究方案(1),研究背景临床问题的重要性、意义需要解决的问题以往的系统评价、是否存有争议目的解决有矛盾的证据回答一些尚无确切答案或有多种不同的解释的问题最终目的是概括并帮助人们正确地理解证据。,系统综述研究方案(2),制定检索策略选择合格文献的标准（纳入标准）评价文献质量的方法收集和分析数据的方法结果的分析和报告,系统综述研究方案(3),Cochrane协作组将对研究方案进行评审、修改并提出反馈意见。研究方案将在Cochrane系统综述数据库中发表并接受来自用户的评论或批评,步骤3: 检索和收集文献,制定检索策略，进行全面的、系统的检索检索方法、数据库主题词研究类型,检索和收集文献,证据的来源研究原著系统评价报告实践指南其他针对治疗指南的综合研究证据专家意见,收集证据的途径,期刊、电子光盘检索参考文献目录与同事、专家、药厂联系获得未发表的文献，如学术报告、会议论文、毕业论文等个人通信电子数据库,选择研究,按照纳入标准研究设计类型样本量要求两人独立进行评估不一致时由第三者或双方讨论协商解决,步骤4: 评估研究的质量,为什么要评估证据的质量?,大多数干预措施的效果不是非常显著，有的甚至可对病人造成伤害。,研究的质量,内部真实性该研究结果是否真实可靠？外部的真实性是否有推广价值，能否应用于临床病人？是否要改变我的临床实践？应怎样做？,内部的真实性,研究的科学性临床试验中的误差：随机误差、系统误差系统误差即是偏倚选择偏倚测量偏倚混杂偏倚,试验的外部真实性,实用价值: 研究结果在多大程度上可应用于其他环境取决于纳入试验病例的特征、研究背景、试验的治疗方案以及评估的结局质量评估应包括试验的外部真实性如果内部真实性有问题，评价外部真实性就毫无意义,证据的强度等级,系统综述和 Meta-分析有明确结论的RCT 如：可信限范围不包含临床意义的临界值未得到明确结论的RCT如：点估计值提示有临床意义，但可信限范围包含了临界值队列研究病例对照研究横断面研究病例报告,不同的临床问题需要不同的研究设计,各种研究设计的系统综述和Meta分析,QUOROM声明：RCT的Meta分析Lancet,1999,354(27):1896-1900CONCENSUS声明：观察性研究的Meta分析JAMA 2000，283（15）：2008 诊断试验评价Meta-analytic methods for diagnostic test accuracyJ Clin Epidemiol. 1995 Jan;48(1):119-30; Systematic reviews to evaluate diagnostic testsEur J Obstet Gynecol Reprod Biol 2001 Mar;95(1):6,提供临床治疗证据的研究类型,非系统性临床观察研究生理学实验非随机临床试验随机对照临床试验,非系统性临床观察研究,临床医生对疾病的非系统性观察病例报告病例分析专家评论无对照、样本量小存在较大的偏倚,生理学实验,生理学实验往往与临床结果有较大的差异，动物实验更不能等同于人体例降低体温可抗御大脑损害 -阻滞剂减弱肌力的效应，与该药能降低充血性心衰病人的病死率,非随机研究,治疗组和对照组之间预后因素分布的差异由医生决定给予治疗可造成偏倚通过配对等方法可减少各干预组之间的差异、控制该混杂因素，但对于未能识别的混杂因素，仍可能影响结果。,随机对照临床试验,随机临床试验是最严格的方法其他设计类型的结果可能存在偏倚随机试验也可能存在受偏倚的影响，对其方法学质量进行评价是必要的。,随机对照临床试验的三大要素,设立对照组随机分组方法：简单随机化、区组随机、分层随机编盲（Allocation concealment）双盲（Double blinding）外观一致的对照药或安慰剂双盲双模拟(double dummy) 开放试验、单盲,随访,退出和失访已纳入的病例发现不符合纳入标准出现药物副作用的病例对分配的治疗不依从的病例治疗意愿分析(intention-to-treat analysis)“最差情况”分析(worst-casescenario),系统评价中对RCT质量评价内容,研究的质量随机分组、方法、编盲盲法；双盲、单盲、开放性随访：病例是否完整分析方法影响结果解释的因素偏倚的来源,对研究质量的处理,排除质量低的研究，但有排除产生真实性结果研究的危险纳入低质量的试验同时探讨质量高低对效应估计值的影响用敏感性分析探讨排除低质量研究对系统评价结果证据强度的影响使用Meta回归模型累积性Meta分析,运用有关的质量评价量表进行评估，如Jadad量表,对文献质量进行评价的意义：,可作为是否纳入研究的标准；用于解释研究结果间的差异性(异质性)；用于敏感性分析；作为研究结果统计学分析时赋予权重的根据，即结果越精确(可信期间越窄)或质量高的赋予较大权重,质量评价的局限性,研究质量低可能与研究报告不恰当有关与作者联系，补充或核实情况真实性的测量标准与实际研究的结局之间的联系？,Limitations of RCT,Answering complex questions When results may not relate to your patient Trials that lack sufficient power,步骤（5）：资料收集,资料收集表格的设计评价过程文献质量提供分析的数据预试验有助于设计完善的表格,资料收集的内容,收集者的姓名研究出处、研究者研究的质量研究设计类型、方法、过程的质量控制研究对象：来源、诊断标准、入选和排除标准干预措施：干预及方法、时间、随访期结局的测量：指标、测定方法、质控,资料收集,资料收集的可靠性两人以上评价一致性检验从研究者本人获取资料补充研究报告,步骤(6)：分析与结果描述,描述性分析总数、设计、质量、结果Meta分析采用统计学方法，将多个独立的，针对同一临床问题、可以合成的临床研究综合起来进行定量分析,Meta分析（1）,主要分析，研究假设确定进行比较的主要结果指标连续变量或分类变量： 血压测定值、降压有效率RR、OR、,Meta分析（2）,分析所需的变量代表研究对象特征的关键变量决定干预措施特征的主要变量：方法、剂量、疗程等决定结局特征的变量：与预后有关的因素结果指标：以自然单位表示使研究间结果能够比较而不至于产生误导的标准化结果。,Meta分析（3）,研究结果是否相似：研究间的异质性研究对象特征干预措施的变异程度对各个研究的效应进行综合异质性：敏感性分析、亚组分析权重：样本量、质量合并结果的可靠性如何?敏感性分析,干预的不良反应,不良反应是重要的结局指标在不同情况下的严重程度及其发生频率，特别是不良反应与某一特定的干预之间的因果联系需要进行严格评价,系统分析中可能存在的偏倚,发表偏倚：阳性结果的研究容易发表，阴性结果的研究作者不愿投稿或投稿后不易发表造成对干预效果的片面夸大。倒漏斗图形(funnel plot)分析法定位偏倚：检索策略或检索工具不具有代表性语言偏倚,步骤7：结果的解释（讨论）,证据的强度结果的可应用性其他与决策有关的信息如费用问题和临床实践的现状干预措施的利、弊、费用的权衡,证据的强度,纳入研究的方法学质量及其不足之处系统综述本身的方法未纳入评价的其他证据加以讨论替代指标。,可应用性,纳入研究的对象的背景是否与自己的病人相似对可能应用的情况以及影响应用效果的因素进行讨论要考虑生物学或文化的差异、病人对干预措施的依从性、病人基线水平(事件率)的差异、费用及病人的态度。,其他相关信息,流行病学研究的证据临床实践的现状费用的信息卫生决策,结论的意义,最后评价者需要对系统综述的发现对临床实践的意义进行总结，对该评价结果对未来的科学研究具有什么样的价值进行概括,中草药治疗慢性乙型肝炎随机对照试验的系统评价,中草药治疗慢性乙型肝炎：研究问题(1),治疗尚没有特效药物临床上广泛使用中草药使用的变异性很大:地区、种类、剂量、方法哪些被证明是有效的？证据的强度如何？,中草药治疗慢性乙型肝炎：研究问题(2),按病原分型肝炎病毒达7种，临床结局有很大差异预后不同急性肝炎、慢性乙型肝炎、乙型肝炎病毒无症状携带者、慢性丙型肝炎等,中草药治疗慢性乙型肝炎：研究问题(3),评价中草药治疗治疗慢性乙型肝炎的疗效不治疗安慰剂非特异性治疗如维生素类干扰素和/或拉米夫定,中草药治疗慢性乙型肝炎：背景,重要性：疾病负担目前的治疗方法和存在的问题干扰素和拉米夫定：复发率、严重的副作用、昂贵中医药治疗的意义目的：评价中草药治疗治疗慢性乙型肝炎的疗效,中草药治疗慢性乙型肝炎,1998年：Cochrane肝胆疾病组注册题目、研究方案的撰写19992000年：系统评价2001年：完成系统评价并发表,中草药治疗慢性乙型肝炎：文献检索方法,电子与手工检索MEDLINE、EMBASE、BIOSIS、Cochrane肝胆病组等临床试验注册数据库Cochrane图书馆对照试验注册库手工检索中文发表及未发表的文献文献检索无语种限制。两名评价员独立选择试验并提取资料，如遇不一致通过讨论解决。,中草药治疗慢性乙型肝炎：纳入标准（1）,RCT或半随机对照试验（不完全随机） 干预：中草药平行对照组：安慰剂、不治疗、非特异性保肝治疗或干扰素治疗随访至少3个月,中草药治疗慢性乙型肝炎：纳入标准（2）,诊断标准:病原、血清指标结局：病死率肝硬化或原发性肝癌发生率血清HBV 标志生化指标组织病理学生活质量副作用,中草药治疗慢性乙型肝炎：质量评价,质量评价：采用Jadad质量记分法RCT：1-5分盲法编盲ITT分析,中草药治疗慢性乙型肝炎,统计分析方法RR、均数、95%CI异质性失访：最差情况分析发表偏倚、 到漏斗图形分析,中草药治疗慢性乙型肝炎：结果（1）,研究特征与质量 （描述性）最初检索鉴定出521篇： 312电子检索，209篇手工检索9篇RCTs满足全部纳入标准，平均样本量106试验药物不同，未进行Meta分析1篇高质量、8篇低质量,中草药治疗慢性乙型肝炎：结果（2）,描述性统计分析抗病毒效应各种中草药对血清HBsAg、HbeAg和HBV DNA转阴的作用RR,95%CI肝脏血清生化肝脏组织学症状与体征副作用,倒漏斗”图示分析,结论,提示某些中草药可能对慢性乙型肝炎患者血清HBV 标志物阴转、转氨酶正常化和改善症状和体征具有一定疗效不能得出有关不良反应的结论由于潜在的发表偏倚和低质量的试验，现有的证据不足以推荐这些药物用于慢性乙型肝炎的治疗,讨 论,方法学质量：纳入的试验大多质量低下极少描述研究设计、随机化方法及随机分配方案的隐藏“ 倒漏斗”图形分析显示不对称发表偏倚方法学质量以实验室指标替代长期随访的结果指标诊断方法：仅少数（3偏）有活检证实,提示,鼓励进一步临床试验证实潜在的疗效目前的研究质量较低尚无肯定的疗法中草药治疗肝炎的临床试验质量有待提高提出现有的研究中存在的问题,系统评价中应注意：,提出的问题应有实际意义评价的方法应当确保评价结果尽可能提供最佳的决策证据当对评价的问题还没有可靠证据甚至没有证据存在时，让决策者知道这一事实纳入低质量证据在下结论时应十分慎重；系统综述应当全面,各种研究设计的系统综述和Meta分析,QUOROM声明：RCT的Meta分析Lancet,1999,354(27):1896-1900CONCENSUS声明：观察性研究的Meta分析JAMA 2000，283（15）：2008 诊断试验评价Meta-analytic methods for diagnostic test accuracyJ Clin Epidemiol. 1995 Jan;48(1):119-30; Systematic reviews to evaluate diagnostic testsEur J Obstet Gynecol Reprod Biol 2001 Mar;95(1):6,实践循证医学几个观点,重点是临床干预效果，但并不排斥基础研究的重要性。强调RCT，系统综述的重要性，但决不排斥设计良好的非随机对照研究所获得的证据强调科学的证据，但并不排斥专家的临床经验,循证医学证据的分级,一级：所有RCT的系统评价/Meta-分析。二级：单个样本量足够大的RCT。三级：设有对照组但未用随机方法分组的研究。四级：无对照的系列病例观察。 五级: 专家意见。,Meta - analysis,是在系统性综述时为了合并多个独立的研究结果，所使用的统计方法。可以将针对同一问题的，多个独立的研究结果进行定量分析。目前，国外文献常常将系统评价与Meta-分析交叉使用。All systematic reviews are not meta-analyses!,系统性综述,Systematic reviews（系统评价）是循证医学重要的手段。是根据某一具体的临床问题，采用系统、明确的方法收集、选择和评估相关的临床原始研究，筛选出合格者并从中提取和分析数据，为疾病的诊治提供科学的依据。,How to read a systematic review?,研究显示Not all SRs are truly systematic (Petticrew 1999; Jadad 1998)The quality of SRs are highly variable(Mulrow 1987; McAlister 1999)Cochrane reviews, on average, may be more rigorous and better reported than journal reviews(Mulrow 1987; McAlister 1999)However, recent studies show that even Cochrane reviews have methodological problems(Olsen 2001; Shea 2002),Evaluation of quality of primary studies sets systematic reviews apart from traditional reviewsEmpiric research shows that not all SRs assess study quality:240 SRs from journals: 48% assessed quality (Moher 1999)480 SRs in DARE: 52% assessed quality (Petticrew 1999)50 SRs on asthma: 28% reported validity assessment criteria (Jadad 2000),Berkeley, 2002 on quality of SRs on HIV, published during 2001Quality assessment done in 56% of reviewsTesting for heterogeneity done in 56% of reviewsNot all SRs with significant heterogeneity explored reasons for itMany reviews did not state the rationale for choice of models used for combining dataOnly 12% of reviews evaluated publication bias,近年Meta分析文献中存在的主要问题 （2002年到2004年5月）,提供Meta分析流程图文献搜索范围发表偏倚的说明异质性检验执行情况敏感度分析,系统性综述与Meta-analyses的质量评价标准,QUOROM评价标准(the quality of reporting of Meta-analyses)。 适用于随机对照试验性研究Meta分析MOOSE评价标准 适用于观察性研究Meta分析,Meta analysis的目的及适用性,增加统计功效 由于单个临床试验往往样本较小，难以明确肯定某种效应，而这些效应对临床医生来说又可能是重要的。 解决各研究结果的不一致性。寻求新的假说。,Meta analysis的局限性,1没用纳入全部的相关研究2不能提取全部相关数据3发表偏性（Publication bias） only studies with positive findings published / accepted4用于合并统计的临床终点定义不明确,Cochrane系统评价的基本方法,确立题目、制订系统综述的计划书 检索文献 选择文献评价文献质量 收集数据 分析资料和报告结果 解释系统评价的结果（讨论和结论）更新系统评价,选择文献、评价文献质量,确定纳入标准和排除标准根据纳入标准和排除标准筛选收集的原始文献确定原始文献质量的评价标准两个人分别完成筛选和质量评价两个人评价不一致时的处理方法,进行Meta分析前需要准备的技术文件,计划书 检索策略 入选、排除标准 原始文献评价标准数据提取表格与作者联系的信件,选择文献的基本步骤,提取数据,文献作者、年代、来源、研究设计特征，研究对象特征干预特征评价指标质量,分析资料和报告结果,计算各研究的效应值、方差和权重 对各研究结果的效应值进行齐性检验 计算合并的效应值 固定效应模型的合并效应值 随机效应模型合并的效应值绘制各研究的效应值和置信区间 森林图 (Forest Plot),计算各研究的效应值、方差和权重,对各研究结果的效应值进行齐性检验,H0：各研究的效应值相等。H1：各研究的效应值不相等。 由于齐性检验的检验效能较低所以通常将检验水准定为=0.10。计算统计量Q Q=29.694, df =15, p= 0.013。Q服从自由度为M1的2 分布。,计算合并的效应值,固定效应模型的合并效应值 ： （各研究的效应值相等）其方差为：,计算合并的效应值,随机效应模型的合并效应值 ： （各研究的效应值不等）DerSimonian and Laird方法 其方差为：,DerSimonian and Laird方法中权重 的计算方法,其中为固定效应模型时效应值的方差，D为随机效应部分的方差。 其中为固定效应模型时各研究的权重，Q为齐性检验时的统计量。,分析资料和报告结果,偏性的估计 漏斗图（Funnel Plot）是以每个研究的效应值为横坐标，以每个研究的样本量或效应值方差的倒数为纵坐标做成的散点图。 采用直线回归的方法来评价Funnel Plot的不对称 秩相关检验,导致funnel plots对称性差的原因选择偏性（Selection bias）出版偏性（Publication bias）定位偏性（Location biases） 英语偏性（English language bias） 引用偏性（Citation bias） 重复发表偏性（Multiple publication bias）异质性（True heterogeneity）研究的规模对效应值的影响（Size of effect differs according to study size 干预的强度（Intensity of intervention） 潜在的影响因素的差异（Differences in underlying risk