版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 系统评价与Meta分析 Systematic Review and Meta-analysis 南昌大学公共卫生学院 黄 鹏 毫无疑问,我们正生活在一个信息爆炸的时代。 医学 信息新理论新技术新方法问题的提出对上述结果,是不是难以判断并选择?有没有一套规范、科学的方法全面收集、认真选择、严格评价和科学分析相关研究资料,得出综合可靠的结论?目前有,且发展中Meta分析系统评价什么是系统评价? 系统评价是一全新的文献综合评价临床研究方法,其基本过程是以某一具体临床问题为基础,系统、全面地收集全世界所有已发表或未发表的临床研究结果,采用临床流行病学严格评价文献的原则和方法,筛选出符合质量标准的文献
2、,进行定性或定量合成,去粗取精,去伪存真,得出综合可靠的结论。同时,随着新的临床研究结果的出现进行及时的更新。Meta分析什么是Meta 分析?Meta分析的前身源于1920年Fisher提出的“合并P值”的思想,1955年由Beecher首次提出初步概念。1976年心理学家Glass进一步按照其思想发展为“合并统计量”,即将合并统计量对文献进行综合分析研究的这类方法称之为Meta分析。20世纪80年代中期开始,Meta分析逐步被引入到临床随机对照试验以及观察性的流行病学研究中。A systematic review that uses quantitative methods to summ
3、arize the result.运用定量的方法汇总多个研究结果的系统评价方法。Evidence-based Mdicine 2000Meta analysis is statistical technique for assembling the results of several studies in a review into a single numerical estimate.Meta分析是将系统评价中的多个不同结果的同类研究合并为一个量化指标的统计学方法。The Cochrane Library举例-被动吸烟的危害A topic of great debate and cont
4、roversy for many yearsFirst few epidemiologic studies were published in 1918 Hackshaw et al. conducted a very comprehensive systematic review in 1997 They identified 37 published studies that reported risk of lung cancer among lifelong non-smoking women according to the husbands smoking status循证医学(M
5、eta 分析)中的统计相关内容数据资料分为数值(计量)资料和分类(计数和等级)资料两大类,统计指标因而也分为数值资料指标和分类资料指标。统计指标可用于统计描述性分析,也是反映数据资料基本特征的最基本的统计分析方法。使人们准确、全面了解数据资料所包含的信息,以便于在此基础上进一步完成资料的统计分析。如均数,(发病/死亡)率,OR,RR等。 资料类型 可信区间(confidence intervel,CI)按预先给定的概率(1-a,常取95%或99%)去估计未知总体参数的可能范围。 可信区间的计算主要与标准误有关,标准误愈小,抽样误差愈小,可信区间的范围就窄,用样本指标估计总体参数的可靠性就愈好;
6、可信区间分类资料的指标1. EER与CER在循证医学预防和治疗性试验中,率可细分为EER与CER两类。 EER(experimential event rate)试验组中某事件的发生率,如对某疾病采取某些治疗措施后该疾病的发生率。 例如:某医师研究了阿司匹林治疗心肌梗死的效果EER=an1 =15 125=12%分类资料的指标 CER (control event rate)对照组中某事件的发生率,如对某疾病不采取某些治疗措施的发生率。 例如:某医师研究了阿司匹林治疗心肌梗死的效果 CER=cn2 =30120=25% 当n足够大,如n100,且样本率p与1- p均不太小,且np与n(1-p)
7、均大于5时,可用下式求总体率的1-a可信区间 率的可信区间:puaSE 率的标准误:SE=p(1-p) n分类资料的指标2. 率差(RD)及可信区间 在疾病的病因、治疗及预后试验中,常用发生率来表示某事件的发生强度,两个发生率的差即为率差,也称危险度差(rate difference, risk difference ,RD),其大小可反映试验效应的大小,其可信区间可用于推断两个率有无差别。两率差的可信区间由下式计算:两率差的可信区间:(p1- p2) uaSE两率差的标准误:SE (p1- p2) = p1(1- p1) n1+ p2(1- p2) n2分类资料的指标两率差为0时,两组的某事
8、件发生率没有差别,而两个率差的可信区间不包含0(上下限均大于0或上下限均小于0 ),则两个率有差别。反之,两个率差的可信区间包含0,则无统计学意义。2. 率差(RD)及可信区间 前述阿司匹林治疗心肌梗死的效果 CER=25%,EER=12% SE (p1- p2) =0.049 (p1- p2) uaSE=(-0.23,-0.03) 该例两率差的可信区间为(-0.23,-0.03),上下限均小于0 (不包含0),两率有差别。阿司匹林治疗心肌梗死的病死率EER=12%,对照组的病死率CER=25%。 结论:阿司匹林可降低心肌梗死的病死率。分类资料的指标2. 率差(RD)及可信区间分类资料的指标3
9、.相对危险度(RR)及可信区间 是前瞻性研究中较常用的指标,它是暴露组的发病率(或危险度) p1与非暴露组(或低暴露组)发病率(或危险度)p0之比。 用于说明前者是后者的多少倍,常用来表示暴露与疾病联系的强度及其在病因学上的意义大小。分类资料的指标若p1和p0是死亡率、病死率、患病率等不利结局指标时:RR1表示试验因素对疾病有影响。当RR1时,表示试验因素是疾病的有害因素,且RR越大,试验因素对疾病的不利影响越大;当RR1时,试验因素是疾病的有益因素,且RR越小,试验因素对疾病的有益作用就越大;RR1时,表示试验因素与疾病无关;分类资料的指标若p1和p0是有效率、治愈率等有利结局指标时:RR1
10、表示试验因素对疾病有影响。当RR1时,表示试验因素是疾病的有益因素,且RR越大,试验因素对疾病的有益作用就越大; 当RR1时,表示试验因素是疾病的有害因素,且RR越小,试验因素对疾病的有害作用越大;RR1时,表示试验因素与疾病无关;分类资料的指标前述阿司匹林治疗心肌梗死的效果阿司匹林治疗组病死率p1= 15125 对照组病死率p0= 30120其RR和可信区间为:RR= p1p0 = 0.48, (RR)= (0.48)=-0.734SE (RR)= 1r1 +1 r2 1 n1 1n2 = 115+130 1125 1120 =0.289RR的95%可信区间为: (RR) 1.96SE (R
11、R) =-0.734 1.960.289=(-1.301,-0.167) RR的95%可信区间为: exp(RR) 1.96SE (RR) = exp (-1.301,-0.167) =(0.272,0.846) 该例RR的95%可信区间为:(0.272,0.846),该区间小于1,可以认为阿司匹林可降低心肌梗死的发生率。分类资料的指标4. OR及可信区间Odds 1是病例组暴露率p1和非暴露率1-p1的比值, 即Odds1 = p1 ( 1-p1 )=Odds0是对照组暴露率p0和非暴露率1-p0的比值, 即Odds0 = p0 ( 1-p0 )= 而这两个比值之比即为比值比(odds ra
12、tio,OR), 又称机会比、优势比等。b ( a+b )a ( a+b )c( c+d )d( c+d )分类资料的指标OR计算的四格表4. OR及可信区间OR= Odds1 Odds0 = =ad bcp1 ( 1-p1 )p0 ( 1-p0 )分类资料的指标当所研究疾病的发病率较低时,即a和c均比较小时,OR近似于RR,故在回顾性研究中可用OR估计RR,且可以配合logistic回归数学模型进行分析。由于前瞻性研究中, RR的可信区间与OR的可信区间很相近,且后者计算简便,因而临床医学可用OR的可信区间计算法代替RR的可信区间的计算。 OR值的解释与RR值相同。4. OR及可信区间分类资
13、料的指标4. OR及可信区间 OR值的可信区间,同样采用自然对数进行计算,即应求OR的自然对数值(OR)和(OR)的标准误SE(OR),其计算公式如下: SE (OR)=1a +1b +1 c + 1d (OR)的1-a可信区间为: (OR)uaSE (OR) OR的可信区间为: exp(OR)uaSE (OR)分类资料的指标4. OR及可信区间前述阿司匹林治疗心肌梗死的效果: 其OR和可信区间为: OR= ad bc = 1590 30 110 =0.409 OR= (0.409)=-0.894 SE (OR)= 130+1 90 + 1 15 + 1110 = 0.347 OR的95%可信
14、区间为: (OR) 1.96SE (OR) =-0.894 1.960.347=(-1.574,-0.214) OR的95%可信区间为: exp(OR) 1.96SE (OR) = exp (-1.574,-0.214) =(0.207,0.807) 该例OR的95%可信区间为:(0.207,0.807), 该区间小于1,可以认为阿司匹林可降低心肌梗死。数值资料的指标 .描述数值变量资料的基本特征有两类指标: 1.集中趋势的指标,反映一组数据的平均水平; 2.离散程度的指标,反映一组数据的变异大小; .两类指标联合应用才能全面描述一组数值变量资料的基本特征数值资料的指标.加权均数差(weigh
15、ted mean difference, WMD) Var (d)= . 该指标以试验原有的测量单位,真实地反映了试验效应,消除了绝对值大小对结果的影响,在实际应用时,该指标容易被理解和解释。(n11)S12 (n21)S22n1 n21n1 n2 n1 n2数值资料的指标.标准化均数差(standardised mean difference, SMD) Sc= d=(X1 X2) Sc1-3/(4N-9)Var(d)=N/ n1 n2 d2/2 (N-3.94 ). SMD可以简单的理解为两均数差值再除以合并标准差的商,它不仅消除了某研究值的绝对大小的影响,还消除了测量单位对结果的影响。该
16、指标尤其适合于单位不同或均数相差较大的数值资料分析。.它是一个没单位的值,对其分析结果解释要谨慎。 合并统计量的选择 计数资料(二分类变量) 可选择OR,RR,RD作为合并效应量,用于描述多个研究的合并结果,其结果的解释与单个研究指标相同。 计量资料(数值变量) 可选择WMD,SMD作为合并效应量。 WMD为两均数的差值,消除了多个研究间的绝对值大小的影响,以原单位较好的反映了实验效果。 SMD为两均数的差值再除以合并标准差的商,适用于单位不同或均数相差较大的资料的汇总分析。让我们来看看系统评价的过程和内容系统评价的主要特征全面收集所有有关研究对所有纳入的研究逐个进行严格评价联合所有研究结果进
17、行综合分析和评价必要时进行 Meta-分析(定量合成的统计方法)得出综合结论(有效、无效、应进一步研究)提供尽可能减少偏倚,接近真实的科学证据系统评价的要点研究设计:需专业知识及研究能力严格评价:需流行病学知识统计分析:需统计学基础结果解释:需专业及研究能力,客观,理性基本原则与原始试验的设计类似,原始试验以人为研究对象及单位,系统评价以单个的临床研究论文为研究对象及单位 Cochrane 系统评价 VS 非Cochrane (一般)系统评价Meta analysis的原理和基本思想 在用样本信息推断总体参数时,是存在抽样误差的,并且抽样误差的大小与样本量的大小有关。 统计学用抽样分布的理论来
18、描述样本统计量的变化规律。基本原理从一个均数为1.5,标准差为0.7的正态总体中进行随机抽样,样本量分别为20,50,100,200,300,500,1000,不同的样本量均进行20次抽样,共得到140个样本。分别计算每个样本的均数。基本原理用方差分析的方法对不同的样本所对应的总体均数是否相等进行检验,方差分析的结果为F=0.862,P=0.878。说明140个样本对应的总体均数是相同的。用这140个样本的信息来估计总体的均数和标准差,=1.501,=0.699。这样做的结果是提高了估计的精度。 基本原理(理想状态) 把不同研究者对相同问题进行的研究看作是从同一总体中进行抽样得到的一个随机样本
19、,如果他们都是按照相同的设计得到的研究结果,并且我们可以获得每一项研究的结果,这样就可以根据上面的原理得到一个更为可靠的综合的结果。 实际情况不同作者:所使用的设计方案会有一定的差别选择的实验对象有所不同研究结果不一定都能发表到专业杂志上 因此实际能够得到的资料可能是不完整的,甚至是有偏性的,如阳性结果的文章,以及和目前大家普遍能够接受的观点一致的文章可能更容易发表在专业杂志上。 系统评价的方法和步骤拟定研究计划收集资料根据入选标准选择合格的研究复习每个研究并进行质量评估提取信息,填写过录表,建立数据库计算各独立研究的效应大小异质性检验敏感性分析总结报告 明确研究目的 提出检验假设注意特殊的亚
20、组 确定和选择研究的方法和标准 提取和分析资料的方法和标准一、拟定研究计划中华医生网收集编目/ 原则 多途径、多渠道、最大限度 途径 利用多途径广泛收集资料 多种电子资源数据库 参考文献的追溯 注意 未正式发表“灰色文献”(grey literature)这些文献中可能包含阴性研究结果 会议专题论文 未发表的学位论文二、收集资料 专著内的章节 制药工业的报告 临床试验注册登记系统 手工检索检索大量的文献根据入选和排除标准进行仔细的筛选挑出合格的研究进行系统综述和Meta分析三、根据入选标准选择合格的研究中华医生网收集编目/排除Retrieve full textExcludeNot sureI
21、ncludeInclude阅读标题和摘要排除可能符合纳入标准者对照纳入标准排除不肯定合格者纳入补充信息纳入收集相关文献阅读全文绘制筛选文献流程图 收集文献数量因不同原因排除文献的数量最终纳入文献数量排除文献的特征 方法学质量研究设计和实施过程中避免或减小偏倚的程度精确度(随机误差的程度) 一般用可信限的宽度来表示外部真实性研究结果外推的程度四、复习每个研究并进行质量评估中华医生网收集编目/ 随机对照试验(RCT)的方法学质量考察: 受试者分组是否真正随机随机方案是否隐藏是否详细说明入选标准组间基线是否可比研究过程中是否使用了盲法对失访、退出及不良反应病例是否进行了详细录,是否报告失访原因是否采
22、用意向分析法(intention-to-treat,ITT)分析结果患者的依从性(compliance)如何例如记分为15分(1或2分:低质量,35分:高质量):随机化方法恰当如计算机产生的随机数字或类似的方法(2分)不清楚试验描述为随机试验,但没有告知随机分配产生的方法(1分)不恰当如采用交替分配或类似方法的半随机化(0分)RCT质量评价的Jadad 量表盲法:恰当使用完全一致的安慰剂或类似的方法(2分)不详试验称为双盲法,但未交代具体的方法(1分)非盲法未采用双盲法或盲的方法不恰当(0分)失访与退出:具体描述了撤除与退出的数量和理由(1分)未报告撤除或退出的数目或理由(0分)按事先制定的资
23、料摘录表内容提取相应变量并填表用meta分析软件Review Manager或SPSS、SAS、EXCEL等建立数据库注意对计量资料必须注明单位比较的两组有均数和标准差;计数资料要使用相同的率来表示双重录入五、提取信息,填写过录表,建立数据库中华医生网收集编目/提取的主要内容:一般资料(试验名称、作者、出处等)质量资料(随机、盲法、随访等)基线资料 (年龄、性别、严重度、病程等)干预措施资料(治疗方法、剂量、疗程,对照措施等)结局资料(死亡、残废、事件数等)其他通用统计软件中有Meta-analysis的程序:STATA SAS WinBUGS NCSS统计量的选择(效应量/效应指标的选择)
24、常用的统计量(效应量)及其概率分布10000个样本OR /ln(OR)作为指标的频数图10000个样本RR /ln(RR)作为指标的频数图10000个样本率的差值(RD)作为指标的频数图通常两组间比较时 连续变量 均数差值(Mean Difference, MD) 率差(rate/risk difference) 二分变量 比值比(OR) 相对危险度(RR)六、计算各独立研究的效应大小中华医生网收集编目/Continuous data(连续变量)Weighted mean difference(WMD)When the same outcome has been measured in the
25、 same way in each trialResult is in natural unitsStandardised mean difference(SMD)When the same outcome has been measured in the different ways in each trialResult needs to be converted into natural units模型的选择 All observed dispersion reflects sampling error, and study weights are assigned with the g
26、oal of minimizing this within-study error. The summary effect is our estimate of this common effect size.Study weights are assigned with the goal of minimizing both sources of variance. The summary effect is our estimate of the mean of theseeffects.Meta分析中的倒方差方法举例介绍 EventNo EventTotalInterventionaib
27、in1iControlcidin2i(Sir Richard) Peto Methodvery similar to Mantel-Haenszel method (same 2x2 requirement)对于2X2表格数据,结果类似。computationally somewhat simpler, especially to calculate the confidence interval计算简单,特别是计算可信区间。may provide biased results under some circumstances in which Mantel-Haenszel would no
28、t在某些情况下,可能产生有偏倚的结果。Best applied to RCTs and not observational studies 最好用于RCT和非观察性研究。Petos method can only be used to pool odds ratios. 仅仅用于合并OR值。Meta分析的目标 weighted average(加权后的平均值)加权平均效应的可信区间Meta分析的核心: -how to Weight(加权)?The weights are chosen to reflect the amount of information that each trial co
29、ntains. Give more weight to the more informative studies. Weight by: 将较多的权重分配给能使我们获得较多信息的研究Size (sample size (n)样本大小-较多的研究对象Event rate事件率-较多的临床事件Homogeneity (inverse of the variance) 同质性-较低的变异Quality研究质量Other factors其他因素重要性 Meta分析重要的环节目 的检查各个独立研究的结果是否具有可合并性 产生异质性的原因 研究设计不同 试验条件不同 试验所定义的暴露、结局及其测量方法不同
30、 协变量的存在注 意 资料的“可合并性”七、异质性检验 (heterogeneity)苹果能和桔子合并么?异质性的检验是Meta分析过程中必须进行的工作。 -异质性的评价与合并效应评价同样重要。异质性评价需回答两个问题:是否存在异质性?有多严重?如何解释和处理异质性? 异质性的来源 临床异质性 方法学异质性 统计学异质性纳入研究对象、干预措施等原始研究的设计类型通过计算发现统计学异质性(Statistical heterogeneity)不同研究间疗效之间的变异超过了随机误差本身所致的变异。 基于数据计算的结果!用Chi-square(x2)检验Wi为第i个研究的权重;Ti为第i个研究的效应量
31、; 为所有纳入研究的平均效应量。根据P值进行判断异质性分析P0.10认为没有异质性P0.05认为有异质性0.05P0.10(需谨慎解释)注意:P值为定性判断,只能说有无异质性,不能反映异质性的大小。I2:异质性的定量分析Q is the chi-squared statistic(卡方统计量)df is the degrees of freedom(自由度)I2值从0%至100%,0%时无异质性,I2值越大,异质性越大;I2描述了去除抽样误差(机遇)后的异质性。一般说来,用I2=25%,或50%,或75%将异质性划分为低,中,高;但不宜机械应用;I2大于50%可认为有实质性的异质性。 How
32、much is too much heterogeneity?异质性的处理忽略异质性检验异质性合并解释固定效应模型有异质性不合并随机效应模型亚组分析Meta回归 Meta分析中异质性资料处理的方法检查一定假设条件下结果稳定性的方法目的 发现影响meta分析研究结果的主要因素解决不同研究结果的矛盾性发现产生不同结论的原因分层分析按不同研究特征,将各独立研究分为不同组按Mental-Haenszel法进行合并分析比较各组及其与合并效应间有无显著性差异八、敏感性分析 可以用直观的图示方法表示 九、总结报告研究结果(线宽表示其95%CI)研究结果点估计值,其大小代表该研究在Meta分析中的权重无效应线
33、各个研究合并后的效应估计)图示结果:常用森林图 观察性研究的Meta分析 (Meta-analysis of Observational Studies in Epidemiology,MOOSE) 随机对照试验的Meta分析报告质量(the quality of reporting of Meta-analyses of randomized controlled trials, QUOROM)进行总结报告 系统性综述与Meta-analyses的质量评价标准QUOROM评价标准(the quality of reporting of Meta-analyses)。 适用于随机对照试验性研究
34、Meta分析MOOSE评价标准 适用于观察性研究Meta分析 QUOROM报告格式1999 年,加拿大渥太华大学David Moher 领导的专家小组,对随机对照试验的Meta分析报告质量进行了方法学的评价,并提出了一套Meta 分析的统一报告格式,也称评价指南. QUOROM声明the quality of reporting of meta-analyses标题二级标题评价依据题目能鉴定出是否为随机对照试验(RCT) 的Meta分析或系统评价摘要用结构式摘要目的明确描述了临床问题资料来源列出了资料库和其他信息来源评价方法描述了选择标准(即对象、干预、结局和研究设计);详细描述了真实性评价的
35、方法、资料提取、研究特征资料定量综合并足以允许重复结果纳入与排除的RCT的特征描述,定性、定量的结果(例如点估计值及可信区间) 及亚组分析结论对主要结果加以描述引言明确地描述了临床问题,干预的生物学合理性和评价的理由方法检索详细介绍信息来源(如资料库、注册库、个人档案、专家信息、机构、手工检索),对检索的限制(年代、发表状态、发表语言等)选择有纳入、排除标准(定义了对象、干预、主要结局和研究设计)真实性评价有评价标准和评价过程(例如设盲的情况、质量评价方法及评价结果)资料提取提取过程和方法(例如独立完成、或复式进行)研究特征描述了研究设计的类型、对象特征、干预方案、结局定义、研究来源、临床异质
36、性评估资料定量综合主要效应测量指标(例如相对危险度),合并结果的方法(统计学检验与可信区间) ,缺失资料的处理、统计学异质性评价,敏感性分析和亚组分析,发表偏倚的评估结果试验流程图提供Meta分析流程性的概括图示研究特征描述每一试验的特征(例如年龄、样本量、干预、剂量、疗程、随访期限)资料定量综合报告入选的研究的有效性评价,给出各试验的每一处理组主要结局的简单概括性结果,提供按意向性分析(ITT) 原则计算效应大小和可信区间所需要的数据(例如四格表资料、均数和标准差、比例数)讨论对关键性结果进行概括,根据内外部真实性讨论临床相关性,根据得到的证据总和讨论结果,描述潜在的偏倚(例如发表偏倚),提
37、出将来研究的线索随机对照试验Meta 分析报告QUOROM声明18 项评价标准偏倚及其检查 偏倚的种类 偏倚的检查中华医生网收集编目/发表偏倚(publication bias) 定位偏倚(location biases) 引用偏倚(citation bias) 多次发表偏倚(multiplepublication bias) 有偏倚的入选标准(biased inclusion criteria) 一、偏倚的种类定义 具有统计学显著性意义的研究结果较无显著性意义和无效的结果被报告和发表的可能性更大。产生原因医学文献中发表偏倚的问题相当严重如果meta分析只是基于已经发表的研究结果,可能会夸大疗
38、效,甚至得到一个虚假的疗效(一)发表偏倚 解决办法好的meta分析应包括所有与课题有关的可获得的资料,但应尽最大可能收集未发表的研究先行将所有的RCT进行登记,通过这一系统随访并获得所有研究的结果是解决发表偏倚的根本途径应用统计学方法,计算拒绝结论所需的未发表研究数量的大小,评估发表偏倚对研究结果的影响 定 义 在已发表的研究中,阳性结果的文章更容易以英文发表在国际性杂志,被引用的次数可能更多,重复发表的可能性更大,从而带来文献定位中的偏倚。产生原因 英语偏倚(English language bias) 文献库偏倚(Database bias)(二)定位偏倚 产生原因支持阳性结果的研究比不支
39、持的研究可能更多地被作为参考文献加以引用杂志的知名度对文章的引用也会产生影响 (三)引用偏倚产生原因阳性结果的研究更容易多次发表或作为会议报告,这就使得这些文章更容易被查到并纳入Meta分析中Meta分析中如果包括重复数据会高估疗效 (四)多次发表偏倚产生原因通常文献入选标准由熟悉所研究领域的调查者来制定,那么这个标准就可能受调查者知识的影响对入选标准的处理可能导致某些阳性结果的研究被选择,而阴性结果的研究被排除(五)有偏倚的入选标准Meta分析检查上述偏倚的最佳途径 先根据一个基本的入选标准收集全部的研究再考虑不同的入选标准进行彻底的敏感性分析检查偏倚的程度漏斗图分析(funnel plots)计算失安全数(fail-safe number,Nfs)二、偏倚的检查漏斗图 相对于样本量的效应值,是以研究的效应估计值作为横坐标,样本量作为纵坐标画出的散点图漏斗图分析 1.根据图形的不对称程度判断Meta分析中偏倚有无 2.基于治疗效应的精确度随样本量增大而增加这
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年北京客运资格用什么练题最好
- 2024年嘉兴申请客运从业资格证2024年试题
- 人教部编版二年级语文上册《语文园地六》精美课件
- 吉首大学《风景园林树木学》2021-2022学年第一学期期末试卷
- 《机械设计基础》期末考试试卷十
- 2024年供销社房屋转让协议书模板
- 2024年多页瓷砖订购合同范本
- 吉林师范大学《学前儿童卫生学》2021-2022学年第一学期期末试卷
- 2024年大棚销售居间合同协议书模板
- 2024年大工地保洁合同范本
- 礼仪与教化下外国篇
- 护理的人文关怀-PPT课件
- 嗜铬细胞瘤围手术护理-PPT课件
- 部编版小学语文三年级语文上册看拼音写词语全册【含答案】
- 三年级下册语文3.荷花ppt
- 九田回米-练字格(excel版本)
- 飞狐用的板块个股分析
- 指南针使用说明
- 驱动使用手册loup用户finalcutprox
- 国家开放大学电大行政管理毕业论文《提高行政效率的有效途径及战略意义》
- 酒店住宿水单01
评论
0/150
提交评论