系统评价

系统评价,一、系统评价概述,（一）基本概念（二）系统评价与叙述性综述的比较（三）开展系统评价的必要性（四）系统评价的意义,（一）基本概念,1.文献综述（叙述性综述）是指综合性描述近年有较大进展的某一专题，或存在较多争议的某一专题，并加以归纳整理，并提出一些作者自己的观点，以反映该专题的过去、现况、发展方向。,2.系统评价（systematic review）,系统评价是指针对一种疾病或某一诊疗措施全面收集所有相关临床研究并逐个进行严格评价和分析，必要时进行定量合成的统计学处理，再得出综合结论的过程。亦称综合分析（overview，systematic overview，pooling project）。全面收集全世界所有有关研究对所有的研究逐个进行严格评价联合所有研究结果进行综合分析和评价必要时进行 Meta-分析(一种定量合成的统计方法) 得出综合结论（有效、无效、应进一步研究)提供尽可能减少偏倚的科学证据,3.Cochrane系统评价Cochrane系统评价是Cochrane协作网协作者在Cochrane协作网统一工作手册指导并在相应Cochrane评价组编辑部指导和帮助下完成并发表在Cochrane图书馆(The Cochrane Library 光盘和因特网上)的系统评价。4.Meta分析（Meta-analysis，荟萃分析，汇总分析）1）广义：当系统评价用定量合成方法对资料进行统计学处理时称为Meta分析。它是系统评价的一种类型，是一研究过程。2）狭义：是能够定量合成研究结果的一种统计学处理方法。,（二）系统评价与叙述性综述的比较,1.系统评价与叙述性综述的格式对比2.系统评价与叙述性综述的共同点3.系统评价与叙述性综述的区别4.Cochrane系统评价的特点,1.系统评价与叙述性综述的格式对比,2.系统评价与叙述性综述的共同点,系统评价与叙述性综述在目的与资料的时间性上是相同的。1.目的提供新信息，让读者在短时间内了解某专题的研究概况和发展方向，获得解决某一临床问题的方。2.资料时间性回顾性、观察性，可能存在系统偏倚和随机错误。,3.系统评价与叙述性综述的区别,4.Cochrane系统评价的特点,（三）开展系统评价的必要性,1.随着疾病谱发生变化，恶性肿瘤、心脑血管病及其他慢性疾病成为危害人民健康的主要疾病；2.多因素疾病不可能获得象急性传染病或营养缺乏性疾病那样明显的疗效而只能取得一定程度的疗效，多数单个RCT样本量小而不能得出准确可靠的结论，需要大样本RCT证实；3.大规模RCT消耗人力、 财力和时间，多数单位没有条件作大规模RCT；4.系统评价/Meta-分析可以综合单个RCT，增大了样本含量。,（四）系统评价的意义,1.对证据的质量进行了严格评价；2.增大样本含量，所获结论更真实、可靠，被推荐为疗效评价的金标准，为临床治疗实践提供可靠依据；2.解决寻找证据难的问题(收集全世界零散的有关研究)，结论简单明了，临床医师能更快、更准确、更方便地了解最新医疗措施，指导临床实践，提高医疗质量；3.目前发达国家已越来越多地使用SR结果作为制定临床工作指南和临床决策的依据。,二、系统评价的步骤与方法,（一）提出问题（二）制订系统评价研究方案（三）检索并选择研究文献（四）对纳入的研究文献进行质量评价（五）收集资料（六）分析资料、形成结果（七）解释结果（八）系统评价的改进与更新,（一）提出并形成系统评价的问题,科学性、临床意义可能得到回答问题的构成要素：简明、准确、具体研究对象干预类型评价结局,“在中度哮喘的成年病人中，与中等剂量的类固醇喷雾治疗比较，salmeterol喷雾治疗对控制症状和预防远期肺损害的效果如何?,（二）制订系统评价研究方案(1),研究背景临床问题的重要性、意义需要解决的问题以往的系统评价、是否存有争议目的解决有矛盾的证据回答一些尚无确切答案或有多种不同的解释的问题最终目的是概括并帮助人们正确地理解证据。,（二）制订系统评价研究方案(2),制定检索策略确定合格文献的标准（纳入标准）评价文献质量的方法收集和分析数据的方法结果的分析和报告,（二）制订系统评价研究方案(3),Cochrane协作组将对研究方案进行评审、修改并提出反馈意见。研究方案将在Cochrane系统评价数据库中发表并接受来自用户的评论或批评,（三）检索并选择研究文献（1）,制定检索策略，进行全面的、系统的检索检索方法、数据库主题词研究类型,（三）检索并选择研究文献（2）,证据的来源研究原著系统评价报告实践指南其他针对治疗指南的综合研究证据专家意见,（三）检索并选择研究文献（3）,收集证据的途径电子数据库Cochrane Review Group registerCochrane Controlled Trials RegisterMEDLINEEMBASEOther appropriate databases手工检索(参考文献目录， 会议资料)个人交流（与同事、专家、药厂联系获得未发表的文献，如学术报告、会议论文、毕业论文等）,（三）检索并选择研究文献（4）,选择研究按照纳入标准研究设计类型样本量要求两人独立进行评估不一致时由第三者或双方讨论协商解决,收集文献,阅读题目、摘要,排除,可能合格的文献,阅读全文,排除,不肯定,纳入,与作者联系,排除,纳入,选择文献的基本步骤,（四）对纳入的研究文献进行质量评价,评价文献的质量是指评估单个临床试验在设计、实施和分析过程中防止或减少偏倚和随机误差的程度，以作为纳入原始文献的阈值、解释不同文献结果差异的原因、进行系统评价敏感性分析和定量分析(Meta-分析)时给予文献不同权重值的依据。,1.文献的评价内容,1）内在真实性(internal validity)：指单个研究结果接近真值的程度，即受各种偏倚因素如选择偏倚、实施偏倚、失访偏倚和测量偏倚的影响情况；2）外在的真实性(external validity)：指研究结果是否可以应用于研究对象以外的其它人群，即结果的实用价值与推广应用的条件，主要与研究对象的特征、研究措施的实施方法和评估结局的指标密切相关；3）影响结果解释的因素：如治疗性试验中药物的剂量、剂型、用药途径和疗程等因素。,2.具体评价指标,在评价时至少应包括以下几方面。1）是否为真正的随机方法？2）随机分配方案是否完善隐藏？3）影响研究结果的重要因素在组间是否可比？4）是否对研究对象、治疗方案实施者、研究结果测量者采用盲法？5）是否有研究对象失访、退出、违背治疗方案并在分析时作恰当处理(意向分析法、效力分析、实际治疗分析)？,3.注意事项,为了避免选择文献和评价文献质量者的偏倚，可以考虑一篇文章多人或盲法选择和评价，也可采用专业与非专业人员相结合的共同选择和评价的办法，对选择和评价文献中存在的意见分歧可通过共同讨论或请第三人的方法进行解决。此外，应进行预试验，以摸索经验，标化和统一选择、评价方法。,4.对文献评价结果的处理,排除质量低的研究，但有排除产生真实性结果研究的危险纳入低质量的试验同时探讨质量高低对效应估计值的影响用敏感性分析探讨排除低质量研究对系统评价结果证据强度的影响使用Meta回归模型累积性Meta分析,（五）资料收集,根据制订的调查表和需要收集的内容，收录有关的数据资料，其中包括：一般资料：如评价的题目、评价者的姓名、原始文献编号和来源、评价的日期等；研究特征：如研究的合格性、研究对象的特征和研究地点、文献的设计方案和质量、研究措施的具体内容和实施方法、有关偏倚防止措施、主要的试验结果等；结果测量：如随访时间、失访和退出情况、分类资料应收集每组总人数及事件发生率、连续资料应收集每组研究人数、均数和标准差或标准误等。 所有的数据资料均要输入系统评价管理软件(review manager；Revman)，以进行文献结果的分析和报告。,（六）分析与结果描述,对收集的资料，可采用定性或定量的方法进行分析，以获得相应的结果。包括：1.定性分析(non-quantitative synthesis) 2.定量分析(quantitative synthesis),1.定性分析,定性分析是采用描述的方法，将每个临床研究的特征按研究对象、干预措施、研究结果、研究质量和设计方法等进行总结并列成表格，以便浏览纳入研究的情况、研究方法的严格性和不同研究间的差异，计划定量合成和结果解释，因此，定性分析是定量分析前必不可少的步骤。,2.定量分析,定量分析包括3个方面：同质性检验、Meta-分析和敏感性分析。,1)同质性检验(homogeneity),同质性检验是指对不同原始研究之间结果的变异程度进行检验。如果检验结果有显著性差异，应解释其可能的原因并考虑进行结果合成是否恰当。确定各研究结果是否同质有2种方法：一是作图观察各研究结果的效应值和可信区间是否有重叠，如果可信区间差异太大，则不适合将不同研究的结果进行合成。另一种方法是进行同质性检验，如果同质性检验有显著性差异，则不宜将不同研究的结果进行合成。,2）Meta-分析,Meta-分析应根据资料的类型及评价目的选择效应指标和统计分析方法。对于分类变量，可选择比值比(odds ratio)、相对危险度(relative risk)、危险度差值(risk difference)和防止一例不良事件发生需要治疗同类患者的人数（NNT）等作为效应指标表示合成结果。对于连续性变量，当结果测量采用相同度量衡单位时应选择加权均数差值(weighted means difference)，而当结果测量采用不同的度量衡单位，如疼痛评分在不同研究中采用不同的量表时，则应选择标化的均数差值(standardized mean difference)。,2）Meta-分析算法与注意事项,进行Meta分析合成结果时，可选择固定效应模型(fixed effect model)或随机效应模型(random effect model)。Meta分析的结果采用森林图(forest plot)表示。 太多数学的内容，其实有很多计算机软件可以实现。比较权威而且免费者是： Revman4.2 /cochrane/revman.htm常用软件SAS, STATA也可以。千万谨慎！! Meta-分析只是一个统计工具。它不可能将那些本身有问题的研究结果，合成一个好的结果；Meta-分析也仅仅是系统评价中一个部分。,3)敏感性分析(sensitivity analysis),敏感性分析(sensitivity analysis)：指改变某些影响结果的重要因素如纳入标准、研究质量的差异、失访情况、统计方法(固定效应或随机效应模型)和效应指标的选择(比值比或相对危险度)等，以观察同质性和合成结果是否发生变化，从而判断结果的稳定性。,（七）结果的解释（讨论和结论）,1.证据的强度2.结果的可应用性3.其他与决策有关的信息如费用问题和临床实践的现状4.干预措施的利、弊、费用的权衡,1.证据的强度,纳入研究的设计方案和每个研究的质量及其不足之处系统评价本身的方法是否存在重要的方法学局限合成结果的效应值大小和方向、是否存在剂量效应关系等。未纳入评价的其他证据加以讨论替代指标。,2 .可应用性,纳入研究的对象的背景是否与自己的病人相似；对可能应用的情况以及影响应用效果的因素进行讨论；要考虑生物学或文化的差异、病人对干预措施的依从性、病人基线水平(事件率)的差异、费用及病人的态度。,3 .对干预措施的利弊和费用进行卫生经济学分析,4 .对医疗和研究的意义,最后评价者需要对系统评价的发现对临床实践的意义进行总结，对该评价结果对未来的科学研究具有什么样的价值进行概括。,（八）系统评价的改进与更新,系统评价的更新是指在系统评价发表以后，定期收集新的原始研究，按前述步骤重新进行分析、评价，以及更新和补充新的信息，使系统评价更完善。,三、系统评价工作的注意事项,（一）提出的问题应有实际意义；（二）评价方法科学性强； 评价的方法应当确保评价结果尽可能提供最佳的决策证据。（三）当对评价的问题还没有可靠证据甚至没有证据存在时，应当让决策者知道这一事实；（四）当有低质量证据纳入时下结论应十分慎重；（五）系统评价应当全面。,四、发表偏倚偏倚及其控制,（一）定义（二）产生原因（三）不良影响（四）控制措施,（一）定义,所谓发表偏倚是指“统计学上有意义”的阳性研究结果较“统计学上没有意义”的阴性研究结果或无效的研究结果更容易被发表。在医学研究中，这种现象是相当普遍的。,实例：牛津研究中心批准研究项目的发表情况,1991年Easterbrook等对牛津研究中心伦理委员会在1984一1987年批准立项的285项研究的发表情况进行了分析调查。154项研究结果有统计学意义的项目中有93项已经发表，发表率为60.4。另外131项研究结果没有统计学意义或无效的项目中只有45项发表，发表率仅为34.3。多变量分析结果表明，调整了与文献发表有关的其他因素（研究设计、基金资助情况、样本大小等）的影响后，研究结果有统计学意义是预测文献发表的独立因素（OR=2.32，95%CI为1.254.28）。,（二）产生原因,发表偏倚来源于是作者、研究赞助者和杂志社编辑，其产生原因可归纳为以下两个方面。 1.阳性结果文章比阴性结果文章容易发表，而且有较多机会发表在高影响因子的期刊上，会有更高的引用率；杂志不愿发表阴性结果；作者不愿发表阴性结果；药厂不愿发表阴性结果；疗效判断指标的某些选择易于出现阳性结果，发表机会增多；有基金资助的研究常常有较高的发表率，受国家级基金资助的研究的发表率最高，且其研究结果常常是阳性的；随机对照试验的阳性结果常常低于非随机对照试验；有盲法的随机对照试验的阳性结果通常低于非盲法的随机对照试验；观察性研究和实验研究较临床研究容易出现发表偏倚。2.小样本试验显示戏剧性结果时容易发表。,（三）不良影响,1.导致系统评价结果不真实，从而造成对临床实践的错误导向； 发表偏倚对meta分析结果的真实性和可靠性有很大的影响，特别是当入选meta分析的研究主要是以小样本研究为主时，发表偏倚常使meta分析的效应合并值被高估，甚至使结论逆转，产生误导，即本来没有统计学意义的meta分析结果变为有统计学意义的结果。 2.不发表阴性结果是对病人不负责任。,（四）控制措施,1.系统、全面、无偏地检索出所有与课题相关的文献是减少抽样偏倚的最重要方法。尽可能全面收集发表与未发表的研究报告，包括未发表的阴性研究报告、会议论文摘要、各种研究简报、学位论文等；2.全面登记即将进行的临床试验并跟踪；3.得出阳性结果时：检验是否存在发表偏倚的可能，如漏斗图式、失安全数；在文章中分析说明发表偏倚的可能性和影响。,四、系统评价研究报告的评价标准,（一）系统评价的结果的真实性（二）系统评价结果的临床意义（三）系统评价结果的适用性,（一）系统评价结果的真实性,1是否来自随机对照试验 作为评价干预措施疗效“标准设计方案”的随机对照试验能较好地控制各种因素导致的偏倚，因此根据它产生的系统评价被认为是论证强度最高的研究证据。而非随机对照试验易受偏倚因素的影响，其系统评价的论证强度必然降低。,2在系统评价的“方法学”部分，是否描述了检索和评价临床研究质量的方法? 从作者报告的文献检索方法中可明确收集的文献是否包括了发表和未发表的文献，是否包括了多语种的文献?是否漏掉了重要的相关文献?收集的文献越系统、全面，则结论受发表偏倚的影响就越小，可信度就越大。 由于系统评价多为对原始文献资料的再分析和总结，因此，除了进行系统评价的方法要严格外，原始文献的质量非常重要。所以文中应详细描述评价文献质量的方法。,3不同研究的结果是否一致 如果纳入系统评价的每个临床研究，其治疗效果相似或至少疗效的方向一致，则由此合成的结果的可信度较高。因此，作者应对各个研究结果之间的相似性，即同质性进行检验。如果同质性检验有统计学显著性差异，则应解释差异的原因并考虑将结果进行合成是否恰当。,（二）系统评价结果的临床意义,系统评价结果的临床意义取决于两个方面：第一，系统评价的疗效大小；第二，疗效的精确性如何。 在进行结果合成时，不能通过简单比较阳性研究结果和阴性研究结果的研究个数来确定系统评价的结论，而应该根据研究的质量和样本含量的大小对不同研究给予不同的权重值，并采用恰当的指标如比值比(OR)、相对危险度(RR)、均数的差值(MD)、防止一例不良事件发生需要治疗同类患者的例数(NNT)和统计方法如随机效应模型和固定效应模型等合成结果，同时计算相应指标的可信区间。,（三）系统评价结果的适用性,系统评价结果是所有研究对象的“平均效应”，而你主管的病人不一定在研究中，因此在考虑系统评价的结果能否应用于你主管的具体病人时应从4个方面进行考虑。1自己的病人是否与系统评价中的