RCT文献质量评价课件

RCT文献质量评价RCT文献质量评价严格文献评价

－－证据的质量严格文献评价

－－证据的质量Meta-分析的基本步骤提出问题，制定研究计划检索资料选择符合纳入标准的研究纳入研究的质量评价提取纳入文献的数据信息资料的统计学处理敏感性分析形成结果报告Meta-分析的基本步骤提出问题，制定研究计划Toolsforassessingqualityandriskofbias

Scales（评分）,inwhichvariouscomponentsofqualityarescoredandcombinedtogiveasummaryscore;Checklists（清单、分类）,inwhichspecificquestionsareasked

ToolsforassessingqualityanCochranehandbook5_0_1第八章:Table8.5.c:Criteriaforjudgingriskofbiasinthe‘Riskofbias’assessmenttoolCochranehandbook5_0_1AssessmentofriskofbiasSequencegeneration（随机分配方案产生）Allocationconcealment（分配方案隐藏）Blinding（盲法）Incompleteoutcomedata（结果数据不完整）Selectiveoutcomereporting（选择性报告结果）Otherbias（其它影响真实性因素：无其它偏倚）AssessmentofriskofbiasSequForeachentry,ananswer‘Yes’indicatesalowriskofbias,andananswer‘No’indicateshighriskofbias,

and‘Unclear’indicatesunclearorunknownriskofbias.Foreachentry,ananswer‘Yes(1)Wastheallocationsequenceadequatelygenerated?Lowriskofbias:arandomcomponentinthesequencegenerationprocesswasreported.Highriskofbias:anon-randomcomponentinthesequencegenerationprocesswasreported.Uncertainriskofbias:insufficientinformationaboutthesequencegenerationprocesstopermitjudgmentof'Yes'or'No'.(1)Wastheallocationsequenc（1）随机分配方案产生

正确：采用随机数字表、计算机产生随机数字、抛硬币、掷骰子或抽签等方法不正确：按患者生日、住院日或住院号等的末尾数字的奇数或偶数交替分配方法；或者根据医生、患者、实验检查结果或干预措施的可获得性分配患者入组不清楚：根据干预措施的可获得性文中信息不详，难以判断正确与否

（1）随机分配方案产生正确：采用随机数字表、计算机产生随机(2)

Wasallocationadequatelyconcealed?Lowriskofbias:concealedallocationwascompletedbyclearlydescribedmethodssothateitherparticipantsorinvestigatorscouldnotforeseeassignment.Highriskofbias:participantsorinvestigatorsenrollingparticipantscouldpossiblyforeseeassignmentsUncertainriskofbias:insufficientinformationtopermitjudgmentof'Yes'or'No'ofconcealment(2)

Wasallocationadequately（2）分配方案隐藏

完善：中心随机，包括采用电话、网络和药房控制的随机按顺序编号或编码的相同容器按顺序编码、密封、不透光的信封不完善：公开随机分配序列如列出随机数字未密封、透光或未按顺序编号的信封交替分配根据住院号、生日等末尾数字的奇数或偶数不清楚：未提及分配方案隐藏提供的信息不能判断是否完善，如使用信封，但未描述是否按顺序编码、密封、不透光（2）分配方案隐藏完善：随机分配方案的隐藏随机分配受试对象的过程中，受试对象和选择合格受试对象的研究人员不能预先知道随后的分配方案，目的在于防止选择性偏倚未隐藏分配方案或分配方案隐藏不完善的试验，常常夸大治疗效果（30％－41％）随机分配方案的隐藏随机分配受试对象的过程中，受试对象和选择合(3)

Wasknowledgeoftheallocatedintervention(s)adequatelypreventedduringthestudy?

（Blinding?）

Lowriskofbias:blindingofparticipantsandkeystudypersonnel,ortheoutcomemeasurementwasnotlikelytobeinfluencedbylackofblinding;Highriskofbias:noblindingofparticipantsandkeystudypersonnel,ortheoutcomemeasurementwaslikelytobeinfluencedbylackofblindingUncertainriskofbias:insufficientinformationtopermitjudgmentof"Yes"or"No"ofblinding(3)

Wasknowledgeofthealloc盲法(Blindness)临床试验中，试验的研究者或受试者，都不知道试验对象的分配情况，即不知道受试对象在试验组还是对照组，接受的是试验措施还是对照措施。盲法主要用于研究措施的实施者、结果测量，也可用于资料分析和报告目的：避免测量性偏倚盲法(Blindness)临床试验中，试验的研究者或受试者盲法的分类单盲（Single－blind）：只是受试对象不知道他们是在试验组或对照组。检验人员、病理医师等不知道受试对象的诊断情况也属于单盲。双盲（Double-blind）：受试对象和试验措施实施者双方都不知道干预措施分组情况。三盲（Triple-blind）：受试对象、研究者和资料分析或报告者都不知道受试对象分配在哪一组和接受哪一种干预措施。盲法的分类单盲（Single－blind）：只是受试对象不知不能把“分配隐藏”与盲法混淆分配隐藏实质是产生随机序列者和决定分配序别者不能参与纳入受试者，也不宜参与以后的试验过程，尤其不能参与结果的测量。隐蔽分组（分配隐藏）和盲法的概念、实施与报告吴泰相刘关键中国循证医学杂志,2007,7(3):222~225.不能把“分配隐藏”与盲法混淆隐蔽分组（分配隐藏）和盲法的概念盲法正确：没有采用盲法，但结果判断和测量不会受影响对患者和主要研究人员采用盲法，且盲法不会被破坏对结果测量者采用盲法，未对患者和主要研究人员采用盲法，但不会导致偏倚不正确：未采用盲法或盲法不完善，结果判断或测量会受影响对患者和主要研究人员采用盲法，但盲法可能被破坏对患者和主要研究人员均未采用盲法，可能导致偏倚：不清楚信息不全，难以判断是否正确文中未提及盲法盲法正确：(4)

Wereincompleteoutcomedataadequatelyaddressed?Lowriskofbias:nomissingoutcomedata,orthedataexistbutdonothaveanimpactonobservedclinicaleffects.Highriskofbias:missingoutcomedatadoexistandhaveanimpactonobservedclinicaleffects.Uncertainriskofbias:insufficientreportingofattritionandexclusionstopermitjudgmentof"Yes"or"No"ofmissingdataanditseffects.(4)

Wereincompleteoutcomeda结果数据不完整

完整：无缺失数据；缺失数据不影响结果分析（生存分析中缺失值）；组间缺失的人数和原因相似；缺失数据不足以对效应值产生重要影响；缺失数据采用恰当方法赋值不完整：组间缺失的人数和原因不平衡；缺失数据足以对效应值产生重要影响；采用“as-treated”分析(实际治疗分析

)，但改变随机入组时干预措施的人数较多；不恰当应用简单赋值不清楚：信息不全，难以判断数据是否完整（缺失人数或原因未报告）；文中未提及数据完整性问题

结果数据不完整完整：(5)Arereportsofthestudyfreeofanysuggestionofselectiveoutcomereporting?Lowriskofbias:alloutcomesofinterestinthereviewhavebeenreportedinapre-specifiedwaybytheauthorsHighriskofbias:notalloutcomesofinterestinthereviewhavebeenreportedinapre-specifiedwaybytheauthorsUncertainriskofbias:insufficientinformationtopermitjudgmentof'Yes'or'No'ofthisquestion.(5)Arereportsofthestudyf选择性报告结果

无选择性报告结果：有研究方案，且系统评价关心的方案中预先指定的结果指标（主要和次要结果）均有报告；没有研究方案，但所有期望的结局指标，包括在发表文献中预先指定的指标均有报告有选择性报告结果：未报告所有预先指定的主要结局指标；报告的一个或多个主要结局指标采用预先未指定的测量和分析方法；报告的一个或多个主要结局指标未预先指定；系统评价关心的一个或多个结局指标报告不完善，以致不能纳入行meta-分析；未报告重要的结局指标不清楚：信息不全，难以判断是否存在选择性报告结果

选择性报告结果无选择性报告结果：(6)Wasthestudyapparentlyfreeofotherproblemsthatcouldplaceitatriskofbias?Lowriskofbias:thestudyappearstobefreeriskofbias.Highriskofbias:thereisatleastoneimportantriskofbiasexistinginthestudy.Uncertainriskofbias:insufficientinformationtoassesswhetheranimportantriskofbiasexists.(6)Wasthestudyapparentlyf其它影响真实性因素：无其它偏倚无：纳入研究无其它偏倚来源有：至少存在一种重要偏倚风险与使用的研究设计方案相关的偏倚提前终止研究（数据原因或正规终止原则）明显基线不平衡声称有欺骗行为其它问题不清楚信息不全，难以判断是否存在重要偏倚发现的问题是否导致偏倚，理由或依据不足其它影响真实性因素：无其它偏倚无：纳入研究无其它偏倚来源Summaryassessmentsoftheriskofbiasforeachstudy

Lowriskofbias:Lowriskofbiasforallkeydomains;anyplausiblebiasisunlikelytoseriouslyalterthestudyresults.Unclearriskofbias:Unclearriskofbiasforoneormorekeydomains;anyplausiblebiasraisessomedoubtaboutthestudyresults.Highriskofbias:Highriskofbiasforoneormorekeydomains,anyplausiblebiasmayseriouslyweakenconfidenceintheresults.Summaryassessmentsoftheris总分评分细则在各个方面将试验评为A(是)、B(不清楚)、C(否)3级在这里，可以把A、B和C分别解读为Low,Moderate和Highriskofbias总分评分细则在各个方面将试验评为A(是)、B(不清楚)、C(如各评价条目均为A级,则为低度偏倚,发生各种偏倚的可能性最小,所有评价指标均有详细描述;质量评为A级;若有一个条目或多个条目为B,则该试验有发生相应偏倚的中等度可能性,所有评价指标中至少有1项指标提及但未详细描述;质量评为B级;如其中有一个条目或多个条目为C,则该试验有发生相应偏倚的高度可能性,所有评价指标中至少1项指标为不充分或未使用;质量评为C级;如各评价条目均为A级,则为低度偏倚,发生各种偏倚的可能性RCT文献质量评价课件EntryJudgementDescriptionAdequatesequencegeneration?Yes.Quote:“patientswererandomlyallocated.”

Comment:Probablydone,sinceearlierreportsfromthesameinvestigatorsclearlydescribeuseofrandomsequences(Cartwright1980).

Allocationconcealment?No.Quote:“...usingatableofrandomnumbers.”

Comment:Probablynotdone.Blinding?(Patient-reportedoutcomes)Yes.Quote:“doubleblind,doubledummy”;“Highandlowdosetabletsorcapsuleswereindistinguishableinallaspectsoftheiroutwardappearance.Foreachdruganidenticallymatchedplacebowasavailable(thesuccessofblindingwasevaluatedbyexaminingthedrugsbeforedistribution).”

Comment:Probablydone.EntryJudgementDescriptionAdequBlinding?(Mortality)Yes.Obtainedfrommedicalrecords;reviewauthorsdonotbelievethiswillintroducebias.Incompleteoutcomedataaddressed?(Short-termoutcomes(2-6wks))No.4weeks:17/110missingfrominterventiongroup(9dueto'lackofefficacy');7/113missingfromcontrolgroup(2dueto'lackofefficacy').Incompleteoutcomedataaddressed?(Longer-termoutcomes(>6wks))No.12weeks:31/110missingfrominterventiongroup;18/113missingfromcontrolgroup.Reasonsdifferacrossgroups.Freeofselectivereporting?No.ThreeratingscalesforcognitionlistedinMethods,butonlyonereported.Freeofotherbias?NoTrialstoppedearlyduetoapparentbenefit.Blinding?(Mortality)Yes.ObtaiJadadscore1)Wasthestudydescribedasrandomized?2)Wasthemethodusedtogeneratethesequenceofrandomizationdescribedandappropriate?3)Wasthestudydescribedasdoubleblind?4)Wasthemethodofdoubleblindingdescribedandappropriate?5)Wasthereadescriptionofwithdrawalsanddropouts?Jadadscore1)Wasthestudyd质量评价注意事项两个以上评价人独立评价；专业人员和方法学家；不同意见讨论解决，如仍有分歧，咨询第三位评价人；仍不能解决，咨询COCHRANE专业组质量评价注意事项两个以上评价人独立评价；非随机对照试验的质量评价不是所有的研究类型都能进行随机对照试验病因学研究、诊断学研究、预后研究不是所有的治疗性研究都能进行或者需要进行随机对照试验伦理、可行性、经费

非随机对照试验的质量评价不是所有的研究类型都能进行随机对照试非随机对照试验的系统评价方法基本步骤：同随机对照试验但目前没有公认的、规范的手册和方法非随机对照试验的系统评价方法基本步骤：同随机对照试验但目RCT文献质量评价RCT文献质量评价严格文献评价

－－证据的质量严格文献评价

－－证据的质量Meta-分析的基本步骤提出问题，制定研究计划检索资料选择符合纳入标准的研究纳入研究的质量评价提取纳入文献的数据信息资料的统计学处理敏感性分析形成结果报告Meta-分析的基本步骤提出问题，制定研究计划Toolsforassessingqualityandriskofbias

Scales（评分）,inwhichvariouscomponentsofqualityarescoredandcombinedtogiveasummaryscore;Checklists（清单、分类）,inwhichspecificquestionsareasked

ToolsforassessingqualityanCochranehandbook5_0_1第八章:Table8.5.c:Criteriaforjudgingriskofbiasinthe‘Riskofbias’assessmenttoolCochranehandbook5_0_1AssessmentofriskofbiasSequencegeneration（随机分配方案产生）Allocationconcealment（分配方案隐藏）Blinding（盲法）Incompleteoutcomedata（结果数据不完整）Selectiveoutcomereporting（选择性报告结果）Otherbias（其它影响真实性因素：无其它偏倚）AssessmentofriskofbiasSequForeachentry,ananswer‘Yes’indicatesalowriskofbias,andananswer‘No’indicateshighriskofbias,

and‘Unclear’indicatesunclearorunknownriskofbias.Foreachentry,ananswer‘Yes(1)Wastheallocationsequenceadequatelygenerated?Lowriskofbias:arandomcomponentinthesequencegenerationprocesswasreported.Highriskofbias:anon-randomcomponentinthesequencegenerationprocesswasreported.Uncertainriskofbias:insufficientinformationaboutthesequencegenerationprocesstopermitjudgmentof'Yes'or'No'.(1)Wastheallocationsequenc（1）随机分配方案产生

正确：采用随机数字表、计算机产生随机数字、抛硬币、掷骰子或抽签等方法不正确：按患者生日、住院日或住院号等的末尾数字的奇数或偶数交替分配方法；或者根据医生、患者、实验检查结果或干预措施的可获得性分配患者入组不清楚：根据干预措施的可获得性文中信息不详，难以判断正确与否

（1）随机分配方案产生正确：采用随机数字表、计算机产生随机(2)

Wasallocationadequatelyconcealed?Lowriskofbias:concealedallocationwascompletedbyclearlydescribedmethodssothateitherparticipantsorinvestigatorscouldnotforeseeassignment.Highriskofbias:participantsorinvestigatorsenrollingparticipantscouldpossiblyforeseeassignmentsUncertainriskofbias:insufficientinformationtopermitjudgmentof'Yes'or'No'ofconcealment(2)

Wasallocationadequately（2）分配方案隐藏

完善：中心随机，包括采用电话、网络和药房控制的随机按顺序编号或编码的相同容器按顺序编码、密封、不透光的信封不完善：公开随机分配序列如列出随机数字未密封、透光或未按顺序编号的信封交替分配根据住院号、生日等末尾数字的奇数或偶数不清楚：未提及分配方案隐藏提供的信息不能判断是否完善，如使用信封，但未描述是否按顺序编码、密封、不透光（2）分配方案隐藏完善：随机分配方案的隐藏随机分配受试对象的过程中，受试对象和选择合格受试对象的研究人员不能预先知道随后的分配方案，目的在于防止选择性偏倚未隐藏分配方案或分配方案隐藏不完善的试验，常常夸大治疗效果（30％－41％）随机分配方案的隐藏随机分配受试对象的过程中，受试对象和选择合(3)

Wasknowledgeoftheallocatedintervention(s)adequatelypreventedduringthestudy?

（Blinding?）

Lowriskofbias:blindingofparticipantsandkeystudypersonnel,ortheoutcomemeasurementwasnotlikelytobeinfluencedbylackofblinding;Highriskofbias:noblindingofparticipantsandkeystudypersonnel,ortheoutcomemeasurementwaslikelytobeinfluencedbylackofblindingUncertainriskofbias:insufficientinformationtopermitjudgmentof"Yes"or"No"ofblinding(3)

Wasknowledgeofthealloc盲法(Blindness)临床试验中，试验的研究者或受试者，都不知道试验对象的分配情况，即不知道受试对象在试验组还是对照组，接受的是试验措施还是对照措施。盲法主要用于研究措施的实施者、结果测量，也可用于资料分析和报告目的：避免测量性偏倚盲法(Blindness)临床试验中，试验的研究者或受试者盲法的分类单盲（Single－blind）：只是受试对象不知道他们是在试验组或对照组。检验人员、病理医师等不知道受试对象的诊断情况也属于单盲。双盲（Double-blind）：受试对象和试验措施实施者双方都不知道干预措施分组情况。三盲（Triple-blind）：受试对象、研究者和资料分析或报告者都不知道受试对象分配在哪一组和接受哪一种干预措施。盲法的分类单盲（Single－blind）：只是受试对象不知不能把“分配隐藏”与盲法混淆分配隐藏实质是产生随机序列者和决定分配序别者不能参与纳入受试者，也不宜参与以后的试验过程，尤其不能参与结果的测量。隐蔽分组（分配隐藏）和盲法的概念、实施与报告吴泰相刘关键中国循证医学杂志,2007,7(3):222~225.不能把“分配隐藏”与盲法混淆隐蔽分组（分配隐藏）和盲法的概念盲法正确：没有采用盲法，但结果判断和测量不会受影响对患者和主要研究人员采用盲法，且盲法不会被破坏对结果测量者采用盲法，未对患者和主要研究人员采用盲法，但不会导致偏倚不正确：未采用盲法或盲法不完善，结果判断或测量会受影响对患者和主要研究人员采用盲法，但盲法可能被破坏对患者和主要研究人员均未采用盲法，可能导致偏倚：不清楚信息不全，难以判断是否正确文中未提及盲法盲法正确：(4)

Wereincompleteoutcomedataadequatelyaddressed?Lowriskofbias:nomissingoutcomedata,orthedataexistbutdonothaveanimpactonobservedclinicaleffects.Highriskofbias:missingoutcomedatadoexistandhaveanimpactonobservedclinicaleffects.Uncertainriskofbias:insufficientreportingofattritionandexclusionstopermitjudgmentof"Yes"or"No"ofmissingdataanditseffects.(4)

Wereincompleteoutcomeda结果数据不完整

完整：无缺失数据；缺失数据不影响结果分析（生存分析中缺失值）；组间缺失的人数和原因相似；缺失数据不足以对效应值产生重要影响；缺失数据采用恰当方法赋值不完整：组间缺失的人数和原因不平衡；缺失数据足以对效应值产生重要影响；采用“as-treated”分析(实际治疗分析

)，但改变随机入组时干预措施的人数较多；不恰当应用简单赋值不清楚：信息不全，难以判断数据是否完整（缺失人数或原因未报告）；文中未提及数据完整性问题

结果数据不完整完整：(5)Arereportsofthestudyfreeofanysuggestionofselectiveoutcomereporting?Lowriskofbias:alloutcomesofinterestinthereviewhavebeenreportedinapre-specifiedwaybytheauthorsHighriskofbias:notalloutcomesofinterestinthereviewhavebeenreportedinapre-specifiedwaybytheauthorsUncertainriskofbias:insufficientinformationtopermitjudgmentof'Yes'or'No'ofthisquestion.(5)Arereportsofthestudyf选择性报告结果

无选择性报告结果：有研究方案，且系统评价关心的方案中预先指定的结果指标（主要和次要结果）均有报告；没有研究方案，但所有期望的结局指标，包括在发表文献中预先指定的指标均有报告有选择性报告结果：未报告所有预先指定的主要结局指标；报告的一个或多个主要结局指标采用预先未指定的测量和分析方法；报告的一个或多个主要结局指标未预先指定；系统评价关心的一个或多个结局指标报告不完善，以致不能纳入行meta-分析；未报告重要的结局指标不清楚：信息不全，难以判断是否存在选择性报告结果

选择性报告结果无选择性报告结果：(6)Wasthestudyapparentlyfreeofotherproblemsthatcouldplaceitatriskofbias?Lowriskofbias:thestudyappearstobefreeriskofbias.Highriskofbias:thereisatleastoneimportantriskofbiasexistinginthestudy.Uncertainriskofbias:insufficientinformationtoassesswhetheranimportantriskofbiasexists.(6)Wasthestudyapparentlyf其它影响真实性因素：无其它偏倚无：纳入研究无其它偏倚来源有：至少存在一种重要偏倚风险与使用的研究设计方案相关的偏倚提前终止研究（数据原因或正规终止原则）明显基线不平衡声称有欺骗行为其它问题不清楚信息不全，难以判断是否存在重要偏倚发现的问题是否导致偏倚，理由或依据不足其它影响真实性因素：无其它偏倚无：纳入研究无其它偏倚来源Summaryassessmentsoftheriskofbiasforeachstudy

Lowriskofbias:Lowriskofbiasforallkeydomains;anyplausiblebiasisunlikelytoseriouslyalterthestudyresults.Unclearriskofbias:Unclearriskofbiasforoneormorekeydomains;anyplausiblebiasraisessomedoubtaboutthestudyresults.Highriskofbias:Highriskofbiasforoneormorekeydomains,anyplausiblebiasmayseriouslyweakenconfidenceintheresults.Summaryassessmentsoftheris总分评分细则在各个方面将试验评为A(是)、B(不清楚)、C(否)3级在这里，可以把A、B和C分别解读为Low,Moderate和Highriskofbias总分评分细则在各个方面将试验评为A(是)、B(不清楚)、C(如各评价条目均为A级,则为低度偏倚,发生各种偏倚的可能性最小,所有评价指标均有详细描述;质量评为A级;若有一个条目或多个条目为B,则该试验有发生相应偏倚的中等度可能性,所有评价指标中至少有1项指标提及但未详细描述;质量评为B级;如其中有一个条目或多个条目为C,则该试验有发生相应偏倚的高度可能性,所有评价指标中至少1项指标为不充分或未使用;质量评为C级;如各评价条目均为A级,则为低度偏倚,发生各种偏倚的可能性RCT文献质量评价课件EntryJudgementDescriptionAdequatesequencegeneration?Yes.Quote:“patientswererandomlyallocated.”

Comment:Probablydone,sinceearlierreportsfromthesameinvestigatorsclearlydescribeuseofrandomsequences(Cartwright1980).

Allocationconcealment?No.Quote:“...usingatableofrandomnumbers.”

Comment:Probablynotdone.Blinding?(Patient-reportedoutcomes)Ye