定量研究中元分析的应用

定量研究中元分析的应用

一、语言学研究发展的需要经过100多年的发展，行政管理已经成为一项伟大的知识体系。然而,相对于自然科学而言,管理研究的科学性较弱,因此,管理学者们一直致力于管理学研究的科学化。就提高管理学研究的科学性而言,自然科学的研究方法是值得借鉴的,因为它们具有以下三个优点:(1)自然科学研究模式在社会科学中得到了广泛传播和普遍接受;(2)评论者通常采用自然科学研究的评价标准;(3)自然科学研究方法已经成为检验理论的基本方法。鉴于以上观点已被广泛接受,管理学研究更钟情于科学性强的研究方法,而且更加注重证据。因此,相对于定性研究而言,定量研究因其科学性而取得了日益明显的优势,成为管理学研究发展的主要推动力量之一。统计学中发展起来的新的研究方法,一旦被证明更加科学、新颖和有效,就会很快在管理学研究的相关领域中得到应用。在科学研究中,文献综述工作最重要的任务是去芜存菁,从浩瀚的定量研究文献中采用符合科学标准的研究方法得出总结性结论。传统的文献综述方法是一种叙述性综述方法,虽然这种方法也很有价值,但Bushman等(2001)指出了它固有的缺点。归纳起来,传统的叙述性综述方法大致有以下五方面的缺陷:(1)依靠研究者的主观分析和综合;(2)缺乏共同遵守的原则和步骤;(3)不注重分析结果在统计学上是否有意义;(4)在检索和评价文献时不设权重,等价对待研究价值不同的文献;(5)属于定性分析,而不是定量分析。由于上述原因,传统的文献综述方法容易引起偏差和误差,甚至常常出现不同综述者意见相左的情形,因而在批评者看来缺乏科学性。此外,虽然传统的文献综述作者也评价研究方法,提出有争议的学术问题,阐述自己的学术观点,并对未来的研究方向和前景进行展望,但这在很大程度上是主观的,不能提供充分的定量信息,也很难回答总体效应有多大、是否显著和单个研究间的效应为何不一等诸如此类的复杂问题(Borenstein和Rothstein,1999)。因此,如何从结果不一的同类研究中归纳总结出更加可靠的结论,已成为科学研究中一个亟待解决的问题。Stanley(2001)在讨论了定量综述的研究方法后,认为元分析因其在总结、评价和分析实证研究方面具有的明显的科学性优势和广泛的影响而成为这方面最重要的统计学方法。Stanley的这一观点已经为不同学科的研究者所广泛认同。同样,管理学研究也存在定量综述的问题,因此,运用元分析进行定量文献综述,就成为管理学研究的必然趋势。事实上,元分析已经成为科学研究中系统综述和循证管理(evidence-basedmanagement)方面最重要的研究方法,为西方管理学界所广泛接受,并表现出巨大的发展潜力。二、元分析的含义及特性英语“meta-analysis”一词中的前缀“meta”有“更全面”、“综合”或“超常规”的含义;“meta-analysis”在国内通常被译为“元分析”、“汇总分析”、“整合分析”或“荟萃分析”等,相对而言,“元分析”在研究中比较通行,本文亦采用这个译名。元分析的思想可追溯到20世纪30年代;而元分析作为一种研究方法最初大多应用于教育学、心理学等社会科学领域的数据综合分析,Pearson(1904)和Fisher(1932)等是其最早的奠基人。1976年,在综合分析已经获得较大发展的基础上,心理学家Glass首次提出了元分析这个概念,并把它定义为:综合已做过的研究,把相关的单个研究的统计结果汇集成大样本资料,再进行统计分析得出总结性的结论。Glass发展了判定心理学研究效度的方法。他的相关研究是元分析发展历程中的一个标志性转折点,从此元分析受到了更多研究者的关注,并获得了各学科研究者的广泛认可,特别是医学领域的科研人员。Sackett等(1997)把元分析定义为:运用定量方法汇总多个研究结果的系统评价方法。Bullock(1986)认为,元分析的主要特征在于它是一种科学的定量综合方法,可用来对具有共同研究目的、相互独立的多个研究结果进行定量分析,剖析单项研究间的差异,综合评价研究结果,因而可称之为“分析的分析”。Beaman(1991)通过实证研究比较了传统文献综述与元分析的研究质量,分别按选择研究文献、分析和解释研究结果这个三个综述步骤对原始研究文献进行处理,并分别采用传统文献综述与元分析这两种方法进行分析评价,比较每组样本内和两组样本之间的研究结果。结果显示,元分析的研究质量全面优于传统文献综述,从而为元分析在科学研究中的广泛应用提供了有力的支持。总而言之,元分析是一种合并、总结和评论以往定量研究的统计分析方法,是一种定量的研究综述方法。运用元分析进行定量研究综述的前提条件,是在同一研究领域内有数量充分多的定量研究,其方法是从以往研究中选择部分符合标准的报告结果,把它们输入数据库,然后对其进行元分析,得出若干推论以检验假设,并考查问题。元分析经过不断完善,已能弥补传统文献综述的不足,现已广泛应用于自然科学和社会科学研究,近二十年来在管理学研究中得到了广泛的应用(Sutton等,2000)。概括地讲,相对于传统文献综述而言,元分析主要具有以下几方面的优点:1.客观的量化标准。元分析的最大优点就在于能为判断实验结果提供大量的客观数据,是一种融科学性、系统性和客观性于一体的方法。由于元分析对研究结果并不做事先判断和推测,而是针对独立的研究进行分析,客观地对各研究结果进行统计整合,最终通过统计检验来得出研究结论,因此能够避免传统文献综述常见的主观性问题,为基于文献综述得出客观的结论创造了可靠的条件。2.全面整合不同的研究结论。元分析的一个重要优点是允许通过综述大量的定量研究文献来得出比较客观的结论,从而可以避免许多(虽然不是全部)先入为主的主观性误读。元分析还注重分析各单项研究之间的差异,要求尽可能全面地搜集不同的研究数据,审慎严谨地进行处理并予以说明。元分析实质上就是对许多具有相同研究目的的研究结果进行汇总,然后分析、评价其合并效应的过程,即通过综合多个研究结果来提出量化的加权平均效果或关系,从而得出新的总结性结论,以回答已有问题或者提出新问题。3.提高统计效度。由于受样本规模和研究方法的限制,单项研究得出的结论往往缺乏普适性。元分析由于能够整合多项相关研究的结论,因而可以有效排除(或减少)单项研究中很可能存在的测量、抽样等方面的误差,尤其可用来整合那些统计效度较低或效应较小的研究项目的结论。根据统计学原理,样本越大,整合相关研究越多,则研究结论的误差就越少,其统计效度和分析结果的可信度也就越高。正因为如此,元分析的结果在科学研究中常被作为一级证据对待,元分析作为综述和分析大量文献的重要方法在循证研究中也占据着越来越重要的地位,几乎成了循证研究的代名词。4.获得新发现并进行新的推论。元分析可以帮助研究者整合和评价不同的研究,特别是整合结论不一的研究项目,在此基础上进行更深入的分析,从而有可能获得新的发现并进行新的推论,最终提出新的研究假说、命题和方向。由于传统的文献综述缺乏量化证据支持,因此,基于传统文献综述的推论不如基于元分析的推论那么有效。正由于元分析具有以上诸多优点,因而被认为是“总结已发表研究成果的更加正式的方法”。到上世纪末,元分析就已经成为自然科学和社会科学主要研究领域非常流行的研究方法,在管理学研究领域的应用也大有方兴未艾之势。三、元分析的主要步骤、偏差控制和常用软件(一)元分析的方法“进行元分析没有唯一正确的方法”,但有三个基本要求:准确、简单、明了。最佳的科研方法是不经修饰、直接针对问题,用简单的统计技术进行分析的方法,简约原则与紧扣数据有助于避免对统计技术的误解。因此,对于元分析来说,最合适的方法就是正确的方法。尽管如此,为了保证元分析的研究质量,有研究者已经摸索出一些比较成熟的程序以控制各种可能出现的偏差。如果在管理学研究中能够严格遵守以下步骤,那么,元分析就能比传统的文献综述方法具有明显的优势,所得出的研究结论也更具可信性。完整的元分析研究一般遵循以下步骤。1.研究方案设计与其他任何研究一样,元分析研究首先也要提出问题,设计或制定研究方案。在研究过程中注意以下几点,就能使研究方法更具适用性,令研究结果更有学术价值。1元分析的原则首先,清晰地界定要研究的问题是所有科学研究所必须完成的第一步,而这一点对于元分析来说尤为重要。单项研究当然也要确定要研究的问题、设计研究方案和解释研究结果。但是,元分析必须把问题聚焦于某一点或某个方面,才能有针对性地开展后续研究工作。其次,元分析还要求把要研究的问题具体化为假设。研究者必须判断并确定待考察变量之间的关系,为下一步确定筛选标准做好准备。2文献检索与分析要研究的问题必须有一定数量的原始定量研究文献可供选用,这是进行元分析的必要前提。为此,必须进行文献检索以了解目前或近期完成的元分析研究及其研究质量。研究者应该关注前人的类似工作,在自己开始研究之前先确定其必要性和意义。3资料收集和统计分析在确定了元分析的课题之后,就应该着手制定详细的研究方案,内容包括研究目的、研究意义等背景材料,文献检索途径和方法,文献入选和剔除标准,数据收集方法及统计分析步骤以及结果解释等。研究方案还必须为元分析制定工作流程图,以及每一步骤的质量控制和评价标准,而且质量控制应该贯穿每个步骤。在明确了研究目的以后,应该确定资料来源、范围和内容。在收集资料之前,先要确定有关单项研究的入选或剔除标准、文献类型、发表所用的语言以及文献资料的查找范围。最终还要制定文献检索策略,旨在尽可能全面地收集相关文献。2.文献检索和资料收集系统、全面地收集相关文献是元分析有别于传统文献综述的重要特征之一,也是保证高质量元分析的基础。根据元分析的需要,在实际操作中一般先进行预检索,大致确定检索范围,根据预检索的结果修改检索策略。检索时可进行必要的限定,如研究对象、语种、出版日期、文献类型等。检索文献时应综合考虑检索结果的敏感性和特异性。保证较高的查全率是最重要的,因为漏检重要文献有可能直接影响元分析结论的可靠性和真实性。因此,检索时应尽量避免漏检和误检。但是,检索范围过大,往往会导致查全率上升和查准率下降,也会加大文献鉴别和筛选工作的难度。元分析要求收集全部的已有(最好还包括那些成果没有公开发表的)相关研究文献,以减少发表偏倚对分析结果的影响。检索时可以使用标题、摘要、关键词和正文等特定的检索术语,根据期刊目录、综述性文献、计算机文献检索系统等线索列出文献条目,找出所有文献;再根据它们的参考文献,手工找出那些计算机不能检索的遗漏文献,然后建立资料数据库。逐一仔细评价有关原始文献,记录它们的特征,包括文献类型、发表日期、设计方法、样本大小等。文献检索应力求全面,以免遗漏对结果评定会产生重要影响的文献。近年来,计算机技术、现代通信技术和管理信息系统飞速发展,网络数据库已成为文献检索的首选途径。使用方便的搜索软件,如“Google学术搜索”等,也可以提供大量的有关研究主题的信息,有助于避免遗漏重要文献。选择符合标准的研究文献也是一件比较复杂、关键的工作,因为这涉及对研究效度的评估,并会对分析结果产生重要的影响。检索所得的研究文献可能良莠不齐,效度各不相同,这就要求研究者根据研究质量控制标准来进行“过滤”,剔除不合格的文献,只保留合格的文献进入下一环节。3.文献筛选和数据整理元分析并非没有局限性,因此,在分析研究结果时,必须坚持若干用以评估研究结果的标准来认真处理数据。对于每个入选文献,都应该进行单独评价,以确定偏差的潜在影响,以及该文献的特定数据是否适用于元分析。严谨的研究者会力求收集到尽可能完整的数据。对符合入选标准的每个文献或研究结果,都应记录其重要数据,如P值、样本数、比率、均数和标准差等。对于缺乏可信度的研究结果或不符合标准的数据,在审慎甄别后予以剔除,并做记录加以说明。符合标准的数据可通过SPSS、EXCEL或某些元分析软件录入数据文件。4.选择合并分析的方法,将其作为多个研究的一个跨层次的研究这是元分析的关键步骤,在很大程度上决定分析结果。一般而言,在完成以上步骤以后,计算与分析工作主要包含以下内容(Hunt,1999;Huffcutt,2002):1)合并统计量(即效应值,effectsize)的选择。元分析要求把多项独立研究的结果合并成某个单一效应值,即用某个合并统计量来反映多项独立研究的综合效应值。不同类型的统计资料应采用不同的统计分析方法。合并统计量可以是OR、T值、P值、卡方值等。在各文献效应值不一的情况下,必须先把它们转化为统一的指标再进行合并分析。2)一致性检验。一致性是结果合并的基础。按照统计学原理,只有同质的数据才能进行多项研究的统计量合并。各项研究结果间首先必须具有一致性,其合并结果才能被认为是真实的,否则就不能接受。进行一致性检验——又称同质性检验(testsforhomogeneity)或异质性检验(testsforheterogeneity)——可以判断多项研究是否具有同质性。目前,大多采用卡方检验和P值来进行异质性检验。在检验研究结果的异质性时,要明确制定严格统一的标准以免把异质性研究纳入合并分析。一般认为,如果采用P值检验,P>0.10则肯定没有异质性,P<0.05肯定有异质性,0.10<P>0.05为边缘值。对于异质性为边缘值的研究,不要轻易剔除,应进一步核实资料的可靠性与处理方式,在找出异质性来源以后再做下一步的处理。如果证实某项研究的异质性较为明显,则必须予以剔除,否则会影响研究结果。3)合并分析。合并分析就是对合并统计量进行假设检验(hypothesistest)。根据一致性检验的结果,主要从定性和定量两方面进行合并分析。合并统计效应值的选择和假设检验主要是先进行加权合并,然后计算效应值。无论采用哪种方法得到的合并统计量,都要采用假设检验的方法来检验多项独立研究的合并统计量是否具有统计学意义。U检验(或T检验)一般采用≤0.05的P值,这样多项研究的合并统计量才有统计学意义。4)常用的统计模型。元分析有多种进行合并分析的常用模型,固定效应模型和随机效应模型是目前得到公认的两种常用模型。固定效应模型的应用前提是假定全部研究结果的方向与效应值基本相同,各项独立研究的结果趋于一致,即一致性检验无显著差异。固定效应模型大多用于实验性研究,其理论假设是所有的同类研究来源于同一个效应为δ的总体,即δ1=δ2=δ3=…=δk=δ;同时,各项研究的方差齐性,其效应值综合估计方差的成分只包括各个独立研究的内部方差。此时,可采用各个独立研究的内部方差来计算各研究的调整权重(ωi),并估计总效应值。随机效应模型的理论假设是所有的同类研究可能来源于不同的研究总体,即一致性检验已确定各项研究结果的方向与效应值不同,δ1≠δ2≠δ3≠…≠δk,各项独立研究之间具有异质性,其效应值综合估计方差的成分既包括单项研究的内部方差,也包括各项研究之间的方差。因此,在估计总效应时要把两者综合起来估算,并调整权重(ωi)。需要注意的是,如果异质性检验的统计量在边缘值附近,最好同时采用上述两种模型分别计算后再进行分析判断。5)解释分析结果。元分析所得到的结果数据可用来图示,以方便解释。对分析结果进行解释,一般要回答以下三个基本问题:一是所考察关键变量间的关系是否呈集中趋势;二是单个研究结果与元分析结果是否一致(或异质);三是在两者异质的情况下所考察关键变量之间有哪些调节变量。这三个问题基本上涵盖了元分析的研究目的,其答案在很大程度上可以体现相关元分析研究的价值。(二)发表偏倚风险的控制元分析也有自己的缺点,如无法控制偏差来源。如果研究设计本身有缺陷,或把可能引起偏差的不良研究也作为数据来源,那么,无论元分析其他步骤的质量有多高,都会导致不良的统计结果(Hunter和Schmidt,2004)。Slavin(1984)认为,只有方法上正确的研究才可进行元分析,并把这种元分析称为“证据最有力的元分析”。其他的元分析可以纳入质量稍差的研究,并增加一个反映研究质量的“研究水准”这个预测性变量,用以检验研究质量对效应值的影响。元分析的另一个缺点是严重依赖成果已经发表的研究,因而有可能导致“发表偏倚”(publicationbias),因为结果不显著的研究成果是很难发表的。在解释元分析的结果时,应该充分考虑这种“发表偏倚”或“抽屉文件效应”(file-drawereffect,指结果不显著的研究成果最终只能锁在抽屉里)。为了估计发表偏倚的风险,现在许多元分析引入“失效安全数”(failsafenumber,Nfs)来估计需要多少具有无效结果的研究才能使元分析的结果发生逆转。失效安全数越大,说明元分析的结果越稳定,结论被推翻的可能性就越小。另外,元分析中也可能出现定位偏倚(locationbias)、引用偏倚(citationbias)、多次发表偏倚(multiplepublicationbias)和纳入标准偏倚(inclusioncriteriabias)的情况。对于这些偏倚,一般采用漏斗图进行判断(Bushman和Wells,2001)。由此可见,进行元分析应该注意对各种偏倚的控制。Lipsey和Wilson(2001)建议,先根据一个基本的入选标准收集全部的相关研究,然后采用失效安全数和漏斗图识别和控制偏倚,再考虑不同的入选标准进行彻底的敏感性分析。敏感性分析就是对除偏元分析结果与未除偏结果进行比较,若两者无大的差异,则说明结果比较可信;若两者相差甚远,则说明元分析结果稳健性较差。(三)基本功能功能研究者在了解了元分析的基本原理和操作方法后,无须进行复杂的数学运算,因为元分析软件可以帮助研究者完成运算过程。研究者的主要工作是根据元分析的基本要求对各个环节进行严格的处理和控制。国外管理学者常用的元分析软件一般有两类:一类是针对商业用途和学术研究开发的商业软件,这些软件一般是要收费的,如CMA和MetaWin等;另一类主要是医学等研究领域的免费软件,如ReviewManager、Stata和Epimeta等。绝大多数软件都有包括效应值计算、异质性检验、亚组分析、发表偏倚控制、累计元分析、元回归分析等在内的基本功能。下面介绍几种最常用的元分析软件。1.ComprehensiveMeta-Analysis(CMA)软件是英美专家协力开发的面向各类研究者(包括商业领域)的元分析商业软件。该软件界面友好、条理清晰、适用面广,还可做敏感性分析,是一款优秀的软件,现已经广泛应用于商业分析和循证管理。该软件可以在线购买,并对学生有相当幅度的优惠(网址:)。2.ReviewManager(或RevMan)软件不仅可以帮助研究者完成元分析的计算过程,还能帮助他们了解元分析的架构并学习系统评价的分析方法,最后把所完成的系统评价结果制作成电子转换文件。该软件的主要特点是可以制作和保存Cochrane系统评价的计划书和全文,可对录入数据进行元分析,并采用森林图(forestplot)对分析结果进行图示。该软件的优点是比较权威而且免费(网址:/RevMan)。3.Epimeta也是元分析中常用的免费软件,更可喜的是该软件有简体中文版。其子软件EpiData可以帮助我们编制调查表、制作数据文件、输入数据,然后把数据转换成文件输出,再用Epimeta进行处理,就可以得出分析结果(网址:/root/endownload.htm)。四、元分析在国外管理研究中的应用(一)重新认识元分析在管理学研究中的地位在过去的几十年里,元分析被广泛应用于自然科学和社会科学的主要研究领域,而且经常能够获得意想不到的发现。事实上,元分析作为一种评价相互冲突的科学证据的研究方法,承担着科学研究中“盘点存货”的重任。在国外,医学和心理学是应用元分析最多的学科。从上世纪80年代起,国外已有管理学者开始运用元分析开展管理学研究。近年来,元分析越来越受到管理学界的青睐,采用元分析方法完成的研究日益增多,元分析所涉及的领域也越来越广,因而,有关元分析的统计技术也得到了较好的发展。本研究检索了ABI/INFORMGlobal商学信息数据库(全球版)中与元分析相关的研究,结果如图2所示。在管理学研究中,最早和最广泛运用元分析的领域是组织心理学研究,尤其是组织行为与绩效评价研究。本研究通过文献检索发现:在国外管理学研究中,元分析已经被广泛应用于相关性分析、组织行为分析和绩效评价等领域(参见表1)。这些研究领域积累了大量的实证研究成果,它们的情境各异,结论也不尽相同,因此,运用元分析进行定量研究综述就显得尤为重要。(二)个人与组织匹配研究人与环境匹配是组织心理学、组织行为学和人力资源管理研究领域的一个重要概念。人与环境匹配研究着重考察人与工作环境之间的相容性或适应性及其前因后果。研究表明,人与环境匹配同招聘和选择性决策、职业选择、工作压力、工作满意度、绩效、组织承诺、离职和心理健康等有关(Kristof,1996)。Kristof-Brown1是人与环境匹配研究的杰出代表,她在1996年完成的关于人与组织匹配的理论研究综述奠定了她在该研究领域的地位。不过,她的这项综述还属于定性综述,虽然已经十分优秀,但仍没能克服传统文献综述所固有的缺点。2005年,Kristof-Brown等发表了关于个人与组织匹配研究的元分析结果,实现了人与环境匹配主题研究从定性综述到定量综述的跨越,并因这项研究而获得了美国管理学会人力资源分会的学术成就奖(HRDivisionScholarlyAchievementAward)。Kristof-Brown等(2005)通过元分析考察了人与环境匹配和个体在加入组织前的变量(组织吸引、接受工作的程度、受雇决策、工作意愿)以及加入组织后个体层面的变量(态度、绩效、离职行为、压力、任期等)间关系的研究结果,考察了个体与工作、个体与组织、个体与群体、下级与上级之间的关系。他们在已公开发表的研究文献——会议综述、学位论文和工作论文——中检索到了172项有用的研究,共包含836个效应值,几乎所有的置信区间都不包括零。这表明这些研究通过了一致性检验,所研究关系在各种情境下具有广泛的适应性和可归纳性。这项研究对各种匹配之间的内部关系也进行了元分析,其中采用多项式回归分析的25项研究由于其独特的匹配处理方法而被单列出来。该研究还从研究结果中发现了非常广泛的研究主题,可以供后续人与环境匹配研究参考。Kristof-Brown等(2005)的研究典型地反映了元分析应用于管理学研究的优点和不足。元分析的优点主要表现为对四个主要匹配概念以及一系列的态度