学术期刊质量评估的研究综述

学术期刊质量评估的研究综述

改革开放以来，中国的学术期刊业快速发展，出版质量显著提高。与此同时，在许多出版物中，许多问题出现，如重复、内容简单、出版不足、学术影响力较小等。如何摆脱困境，提高学术期刊的出版水平一直受到学术界和期刊的影响。因此，关于学术期刊质量、特色和影响的讨论日益深入。梳理近年来的研究成果,围绕什么是学术期刊的影响力及其评价的问题,学者们的看法尚有较大分歧,已有见解不少值得再讨论。学术期刊影响力是一个关涉学术期刊学术水平、内容特色以及社会信誉度和读者认可度等多方面因素的复杂问题。研究这一问题,首先需要从理论与实践的结合上弄清什么是学术期刊的影响力及其构成要素,以及学术期刊影响力的评价标准与指标体系等基本问题。一、科学期刊的影响及其构成1.学术期刊的质量与学术影响力的关系学术期刊的影响力是以学术期刊的学术水平、学术特色为根本,以社会信誉度与读者认可度为标志所体现出来的一种综合性效果,它与学术期刊的质量、特色以及社会信誉度和读者认可度密切相关。学术期刊的质量与学术期刊影响力之间关系密切。学术期刊的质量尤其是学术质量是学术期刊能否产生影响力的基础和动力源,决定着学术期刊影响力的有无及其大小。一份学术期刊的质量尤其是学术质量愈高,愈易受到学术界的关注,愈易被更多的专家、学者阅读、接受,其影响力就可能愈大,反之,一份学术期刊的质量较低,无人问津,就很难或者根本无法产生影响力。所谓学术期刊的质量,主要是由该期刊刊发的学术论文的学术水平、创新价值决定的;学术期刊的质量是内在的东西,而学术期刊影响力则是其外在的显现,是其客观效果。学术期刊的特色也与学术期刊的学术影响力关系密切。学术期刊不仅应刊发高水平的学术论文,达到很高的学术水平,而且还应彰显其人无我有或人有我优的独有的学术特色;有无学术特色及特色鲜明与否,也在某种程度上决定着学术期刊影响力及其大小。大量事实表明,一份有学术特色、内容与众不同的学术期刊,愈容易受到读者青睐,愈可能产生较大影响力,相反,一份学术期刊如无内容上的重点或有重点不能持续开展研究,各学科、专业研究平分秋色,面面俱到,就很难产生学术影响力。学术期刊影响力不仅以学术期刊的学术质量、学术特色为立命的基础和前提,而且也以其学风、文风的端正、严谨所塑造的品牌为保证。一份学术期刊只有坚持学术创新、求真求实、严谨治学、严格审稿把关、精细编校,保持学术高品位,文字表述生动、准确、流畅,就会在读者中、在社会上形成良好形象,从而为读者所信任、接受。反之,如果一份期刊不讲质量,不守学术道德规范,不严格把关,发表关系稿、人情稿,甚至刊发剽窃、抄袭他人成果的文章,文字表述粗疏、漏洞百出,就难以被读者、社会所认可,产生影响力,会被大家所唾弃。学术期刊影响力在很大程度上也决定于学术期刊的社会信誉度与读者的认可度。作为一种精神文化产品,学术期刊影响力应当也有必要接受读者、市场的检验,以专家、学者等读者受众欢迎不欢迎,以及学术评价机构、同行专家是否认可作为其是否具有学术影响力及影响力大小的重要标志。学术期刊的学术影响力是根本,是第一重要的、内在的东西,而其社会影响力和读者认可度则是学术影响力的派生物,是由学术影响力决定的。学术影响力的大小决定着社会影响力的大小:学术影响力大则社会影响力就容易大,学术影响力小则很难具有社会影响力。2.学术期刊影响力构成要素关于学术期刊影响力的构成要素,学术界尚未见人专门研究。但有关观点可以从对核心期刊以及各种学术期刊质量或学术期刊影响力评价标准的研究中见出。对此,目前学界有不同的看法和做法,有学者从学术期刊评价标准的角度将其概括为两大体系,即多指标体系与单指标体系。多指标体系以北京大学中文核心期刊与中国社会科学院核心期刊评价体系为代表,称为北系;单指标体系以南京大学《中文社会科学引文索引》(CSSCI)评价体系为代表,称为南系。北大与中国社会科学院的评价体系认为,构成学术期刊影响力的要素有被索量、被摘量、被引量、他引量、被摘率、影响因子、获奖或被检索系统收录情况、基金论文率、Web下载量等9项。南大系统采用被引指数评价学术期刊的学术质量与影响力,该系统采用被引频次、影响因子、半衰期、影响广度4项进行测评,从中可以见出南系关于学术期刊影响力构成要素认定。我们认为,构成学术期刊影响力的要素起码应包括以下三个方面:其一是学术期刊的学术影响力,包括两项:一是学术创新水平。它主要体现在学术期刊的被引率、影响广度、转摘率、获奖率以及高影响力论文率等客观数据上。二是特色化办刊的效果。学术期刊无论是专业性或是综合性的,都存在一个在本学科专业领域或相关多学科专业领域内形成本刊内容特色,以致成为有关学科研究人员研究某一问题必读的文献,即形成自己的“拳头产品”——品牌栏目、有影响力的研究领域。这是决定一份学术期刊是否具有影响力以及影响力之大小的一个十分重要的因素。其二是学术期刊的社会实践影响力,主要体现学术期刊发表的论文的观点、理论为经济、社会发展提供了理论支撑,或提出的意见、建议被政府采纳或作为决策参考等。其三是学术期刊的社会信誉度与读者认可度:社会信誉度包括期刊获奖数量及等次,选收核心期刊及国内外重要数据库的情况,以及有关媒体机构与同行专家的评价等;读者认可度包括期刊印刷版的国内外发行量、中国知网等电子媒介国际国内传播情况,以及网上访问量等。二、期刊评价的方法对于学术期刊的评价(包括学术期刊影响力的评价、学术期刊质量的评优尤其是对学术期刊核心期刊的遴选等)的研究成果颇多,但是观点分歧较大,如有学者就对近年来比较流行的以量化评价为主的期刊评价方法颇有质疑甚至持尖锐的批评态度。我认为评价学术期刊影响力,最关键的是在构建一个相对科学、合理、可行的评价的标准及评价指标体系。1.学术影响力在指标选取上存在不合理现象总结、梳理近年来学术期刊影响力评价指标的有关研究,有以下三种有代表性的观点,可以再讨论:第一,认为要有效构建学术期刊影响力的评价体系,应引进学术辐射力和市场占有率两个主要指标。论者认为:学术辐射力“可以通过总被引频次(从期刊创刊至今发表的论文在统计当年被引用的总次数)、即年指标(某种期刊当年发表的论文被引用的总次数与当年发表论文总数之比)和基金产文率(该指标为期刊中基金资助项目的论文与论文总数之比)等主要指标综合评价学术期刊的学术水平和学科地位”。而市场占有率表征学术期刊对用户的作用,是体现学术期刊在市场竞争中地位和可持续发展潜力的一个重要指标,可用市场有效容量表示;市场有效容量“等于某刊实际发行量与本学科领域同类期刊当年发行总量的比值”。读罢该文,我们认为有两个问题需要加以讨论。首先,从大的评价体系着眼,将学术期刊影响力的评价指标仅仅局限在学术辐射力与市场占有率两项有失偏颇。根据多年编辑学术期刊的体会,我们认为评价学术期刊的影响力,除上述两项指标外,起码还应包括社会实践影响力以及学术期刊的社会信誉度等等方面。其次,仔细分析论者的上述观点,其有关学术期刊学术幅射力和市场占有率两项指标的内涵亦存在不妥之处。一是学术辐射力仅局限在被引频次、即引指数、基金产文率3项,显然不够全面且不尽科学合理。其不全面之处在于缺漏了公认的影响因子、论文转摘率、获奖率及高影响力论文率等表征学术期刊学术水平和影响力的重要指标。其不合理、不科学之处在于:(1)以被引频次作为学术评估的重要指标,历来受到期刊界以及学界质疑,其问题在:被引频次的高低一方面受到学科(如人文科学与社会科学性质的不同)的影响,同时也受到学术期刊刊期和容量大小(由季刊、双月刊、月刊等的不同所引起的刊物发文总篇数、如一期刊发10篇论文与一期刊发四五十篇论文不同)等的影响,评价的结果难以公正公平、合理。(2)即引指数虽然能够反映期刊论文被用户利用的速度或时差,表征期刊学术论文扩散的速度,但对人文社会科学学术期刊、学术论文来说,这一指标并不是决定学术期刊影响力的最重要的指标;由于人文社会科学继承性等特点的影响,真正有价值、高水平的学术成果,其对某一学科的建设、某一领域的研究价值及作用并不一定都能很快显现出来,相反真正有重大学术价值的论作其大多数都能在长时段内保持学术影响力,被人参阅、引用、借鉴,因此,没有必要舍弃影响因子、摘转率等指标而把学术期刊论文扩散、利用时速作为判定期刊影响力的重要指标。(3)基金产文率对自然科学来说,的确是判定科技学术期刊的重要指标,但是对人文社会科学来说,似应作具体分析,因为是否为基金产出论文并不与论文价值大小、水平高低划等号:在实践中,经常会出现的一种情况是,虽然论文是基金项目产出的成果,但水平一般,而一篇经作者多年研究、磨炼写成的水平很高的论文,却可能不是基金项目成果。因此,上述三项指标并不完全是决定学术期刊学术水平及影响力的最重要的指标。二是以市场占有率评价学术期刊的学术影响力,应是十分重要的指标,但是从其具体内涵看,缺漏和局限性明显。事实上,决定一份学术期刊在读者、在社会上的地位和影响力,除了其用户、发行量等市场占有情况外,还应看其是否受到同行专家(包括学科专家、期刊专家)的认可和肯定性评价,以及被国内外核心期刊、重要数据库收录情况、政府及行业机构组织的期刊评优中的获奖情况等,作多方面的考察、评估。另外,“市场有效容量”仅以发行量多寡作依据,未包括中国知网等网上传播情况以及读者点击率、下载率等访问量也显得过时。第二,认为学术期刊影响力的评价应采用国际上通用的指标,提出高影响力学术期刊应具备三点:一是读者群和发行量大;二是被国际权威检索系统或数据库收录;三是刊载的论文被引率高。由于该文主要是对我国学术期刊的国际影响力作分析的,故并未对一般(或普遍)意义上的评价指标作深入具体分析,如讲检索系统或数据库收录,只提到国际权威机构而未涉及国内核心期刊或相关来源数据库。作为对学术期刊影响力评估的指标体系,该文所提出的三项标准虽能抓住重点,击中要害,但却缺乏全面、系统及应有的概括高度,缺项漏项较多,如对能体现学术期刊学术影响力的重要指标只以点代面,仅提到被引率,而对论文转摘率、获奖率、基金产文率、高影响力论文率以及学术特色化的程度等均未涉及。另外,对学术期刊的社会实践影响力也未涉及,因此,需要作大的补充、完善。三是认为学术期刊影响力的“评价指标体系应包括两方面内容:一是被引用情况,具体指数可采用南大的《中文社会科学引文索引》的四组指数,这种方法可以较为客观地反映学术期刊的学术影响力;二是被采纳(或采用)及其实践效果情况,具体指标内容或数据采集处理有待进一步研究”。该文提出以学术期刊的学术影响力和社会实践影响力作为评价学术期刊影响力的指标,可以说是抓住了学术期刊影响力评价的关键指标,但所提出的具体内容或尚缺乏全面,或模糊笼统,值得再研究并补充。2.学术特色和社会实践影响力我们认为,构成学术期刊影响力的指标应是科学、全面和具有可操作性的。具体应包括三个大项:(1)学术影响力。具体体现在两个方面:一是学术创新水平,这是决定学术期刊影响力的基础,也是根本。学术期刊影响力来源于其学术水平,尤其是学术论文的创新观点、新颖资料、深刻而充分的论证,等等。一份学术期刊刊发的学术论文如无学术创新价值和一定的学术水平,其学术影响力就无从谈起。所谓学术期刊的学术水平、学术价值,如作客观评价应主要体现在其刊载的论文的转摘率、被引率(包括被引频次、影响因子、五年影响因子、当年即引指数)、获奖率,以及发表的高影响力论文的数量及比率。在以往对学术期刊质量的评价中,对高水平、高影响力论文一项未予应有的重视,我们认为这是很大的失误。其实真正能够决定一份期刊学术水平或学术影响力的最重要的指标应是其发表的高影响力论文的状况。关于高影响力论文的标准,参考新闻出版总署《社科期刊质量管理办法》中的有关规定,78我们以为除所发的论文是否被省级以上党委、政府采纳作为决策的参考外,主要是指被公认的重要文摘刊物《新华文摘》、《中国社会科学文摘》、《高等学校文科学术文摘》、人大复印报刊资料全文转载,或被3家以上文摘刊物同时转摘,或获省部级以上高层次奖励,或访问量、被引频次排名位居同学科专业前列等。二是学术特色。这也是决定学术期刊影响力的重要指标。它包括学术期刊内容上的特色以及装帧设计和印制等形式上的特色。一个高水平、高品位的学术期刊,不仅应具有很高的学术水平,内容上有价值,而且应当在栏目的策划设置、学术个性特色的鲜明及编校质量的讲究,封面、版式以及印制的精良等方面综合性地显示出自己的特色和高水平。如《中国社会科学》、《文史哲》、《北京大学学报》等学术名刊的影响力主要来自于它们长期形成的注重人文社会科学基础理论问题研究的鲜明的学术特色;而作为一所普通高校主办的学报《广西民族大学学报》之所以入选教育部名刊工程,是与该刊人类学、民族学研究特色造成的学术影响力有着十分密切的关系;而某些规模不大的地方院校如湖南理工学院学报《云梦学刊》、安阳师范学院学报《殷都学刊》、《孝感学院学报》等之所以近年来在学术界产生较大影响,重要原因是它们分别在当代学术史研究、甲骨学、古文字学研究以及孝文化研究等领域形成的鲜明的内容特色。(2)社会实践影响力。积极参与研究、解决我国改革开放和现代化建设中提出的重大理论与实际问题,为党和政府的决策提供理论指导和智力支持,促进经济建设发展和社会文明进步,这是新时期以来国家赋予我国人文社会科学研究的历史任务,也是人文社会科学学术期刊应自觉担当的社会责任。由此,评价一份学术期刊的影响力,应当特别看其在研究解决涉及国计民生的重大现实问题上的贡献与价值。大量事实表明,凡是重视研究重大社会现实问题,为促进经济建设、社会发展提出了有价值的意见、建议,其观点、结论被政府用作决策参考的论文及其载文期刊,都会引起社会反响,受到学界和社会的关注。如改革开放之初,发表在《光明日报》上的《实践是检验真理的唯一标准》一文,就为冲破“两个凡是”的精神枷锁,发动我国思想解放运动,乃至开启改革开放和以经济建设为中心的新时代做出了重大贡献,产生过重大的社会影响。再如,著名经济学家吴敬琏、刘国光、胡鞍钢等人的许多研究成果,虽被引率不能排名本学科前列,但其建议被政府采纳,用作决策参考,其社会实践影响力十分广泛。《陕西师范大学学报》(哲社版)多年来在坚持以学术为本的前提下,十分重视从各学科角度研究、解决现代化建设中提出的重大现实理论问题,如20世纪70年代发表的兰州军区的课题成果《秦始皇直道遗迹的探索》,20世纪80年代发表的《论西安周围诸河流量的变化》,20世纪90年代发表的《论西安建都的朝代问题》等,或直接服务国防建设,或为从根本上解决西安水源提出了有价值的建议,或为陕西省、西安市对外宣传提供了权威的结论,被省、市政府采纳并组织专门工作机构予以落实,在学术界、社会上产生了很大反响。该刊也因致力于“历史地理学”学科的研究,被《光明日报》等发文给予高度评价;《陕西师范大学学报》首批入选教育部名刊工程,与其坚持以古鉴今、为世所用的历史学、历史地理学研究的学术水平和社会实践影响力有着很大的关系。(3)社会信誉度和读者认可度。这也是评价学术期刊影响力十分重要的指标。其内容具体包括学术期刊获省级以上政府出版奖、期刊奖的获奖情况,期刊被有关学术评价研究机构或图书情报机构的认可程度(如入选中国期刊方阵、国家或者省市名刊建设工程、收入国内外有影响的期刊数据库及核心期刊、统计源期刊等),国内外有关媒体、学术机构或同行专家、学者个人评价情况(主要是报刊肯定性评介文章及专家的贺辞、贺信及其他评论文字),以及期刊在国内外的传播(如中国知网的海内外传播情况,网上阅读、下载等访问量)、发行效益情况等。三、应该在科学期刊的影响评估中认识和理解的问题要科学、准确地评价学术期刊的影响力,有如下几个关系需要正确地认识和处理。1.学术影响力评价的对象不清学术论文影响力与学术期刊影响力两者的关系密切但又有很大的不同:学术期刊影响力是一份期刊整体学术水平、学术特色和社会效果的综合性体现,其评价的对象是某一份学术期刊,其影响力与编辑主体的水平与工作努力的程度密切相关。评价学术期刊影响力的项目如上文所论不仅包括期刊学术内容的创新价值等内在质量,而且涉及期刊的外在质量以及社会信誉度与读者认可度等方方面面。而学术论文影响力评价的对象则是某一篇具体的论文,其评价的项目主要是学术内容即学术创新性、科学性及其对学科建设和经济社会发展具有的价值。学术论文的影响力体现的是作者的学术创新水平和文章的研究深度,与发表论文的学术期刊的影响力有关,但两者间并没有必然联系,并不具有正相关性。一般说来,一份期刊发表的具有较高水平及较大影响力的论文数量愈多,该刊的学术水平也就愈高,影响力也愈大;反过来,有较大影响力的学术期刊发表的论文大多都有较高水平,因而容易产生较大影响力。但必须指出的是,并非在影响力大的学术期刊上发表的每篇论文都有较高水平或较大影响力,更不能说发表在影响力不大的学术期刊上的论文就一定水平不高,不会产生学术影响力。目前,在我国许多高校、科研机构普遍实行以期刊等级评价学术论文水平,认为凡是在所谓权威或核心期刊发表的论文都是高水平,都可获得单位的奖励,在评职、考核、聘任时得到认可,而在一般期刊发表的论文往往不被认可,即是混淆了学术期刊的办刊水平及影响力与学术论文水平及影响力二者间的不同造成的误区。这种认识及评价制度值得研究和改进。2.各大学科的研究差异决定某一事物性质的往往有多种因素。影响因子(或被引率)的确是可以相对比较客观地决定学术期刊影响力的重要因素,但并非惟一因素。正如上文已讲到的,如果主要以影响因子高低评价学术期刊影响力的大小,可能因期刊所涉学科专业的不同,期刊性质、类型的差异,出现很大偏差。如人文学科与社会科学不同学科专业、现实问题研究与古代问题研究、基础理论研究与应用开发研究等研究对象的差异以及综合性期刊与专业性期刊等期刊性质类型的不同,形成评价中缺少可比性,从而造成评价结果的不公。一般说来,从学科专业看,社会科学的被引率、影响因子比之人文学科要高;从研究对象看,现实问题、基础理论问题研究的被引率、影响因子比之古代问题、应用开发问题研究要高;而从期刊的性质类型看,专业性期刊的被引率、影响因子比之综合性期刊要高。学术期刊影响力本身是一个涉及多种因素的十分复杂的现象,因此,对其评价在实际操作层面上应特别注意避免方法的简单化和指标的单一化。3.核心期刊的遴选、评估和影响评价指标尚需进一步研究核心期刊的概念来自国外,布拉德福认为,对于某一学科或某一主题来说,大量的该学科或主题的研究论文分布在少数期刊中,而其他少数的该学科或主题的论文却分布在大量的期刊上;他以慧星的结构比喻核心期刊,将那些刊载大量某一学科或主题论文的少数期刊比喻为慧核部分,从而提出期刊中存在着一个核心区。布氏最初关于核心区的概念只涉及论文的分布状况,并未涉及对期刊的评价。加菲尔德从20世纪70年代开始了核心期刊的遴选,由此核心期刊具有了评价期刊的功能。我国学术期刊评估体系的建立始自对核心期刊的研究。上世纪90年代初,北京大学图书馆研制的《中文核心期刊要目总览》内部出版。此后,中国社会科学院文献信息中心研制出版了《中国人文社会科学核心期刊要览》、南京大学中国社会科学评价研究中心研制了《中文社会科学引文索引》(CSSCI)来源期刊库(实质为核心期刊)。对于研究遴选核心期刊的目的或指导思想,《中国人文社会科学核心期刊要览》(2008年版)的表述是“某学科(或某领域)的核心期刊,是指那些发表该学科(或该领域)论文较多、使用率(含被引率、摘转率和流通率)较高、学术影响力较大的期刊”2。《中文社会科学引文索引》(CSSCI)的表述则是:“入选期刊是社会科学领域内各个学科中水平较高、社会影响较大、编辑出版较规范,且能体现各学科最新水平的重要学术刊物”。《中文核心期刊要目总览》(2008年版)则表述为:“某学科核心期刊是指发表该学科论文数量较多,文摘率、引文率、读者利用率相对较高,在本学科学术水平较高、影响力较大的那些期刊。”11由此可见,评选、评估核心期刊(或类似核心期刊的来源期刊)其主要目的是反映、评价学术期刊的影响力。评价学术期刊的影响力,应当十分重视各评价机构遴选出的核心期刊,将其作为重要参考,但是,正如上文所述,目前我国核心期刊评选的标准和评价指标尚存在明显偏颇,值得再研究并加以改进。这一点学界和期刊界可以说已基本上达成了共识。虽然大家也承认,现有的核心期刊大多数质量较高、学术影响力较大,但是对学术期刊影响力的评价,是一项范围更广泛的学术评价活动,它既包括核心期刊也涉及大量非核心期刊,每一份学术期刊都存在着影响力评价的问题。应在不断地总结、吸收核心期刊研制中的有益经验和做法的基础上,通过深入的研究、探讨,制定出一个具有普遍性的学术期刊影响力的更为科学、合理、公正的评价标准和指标体系,这是当前摆在学术界、期刊界学人面前的一项重要任务。4.数字媒体的传播是以人为导向学术期刊的影响力与学术期刊的传播方式等密切相关,其中涉及两个问题:一是期刊的语种以及传播途径等影响到学术期刊的影响力。作为学术期刊,其内在的学术水平及价值在稿件确定以后基本上可以判定,但期刊的影响力除了主要决定于其内在的学术水平及价值之外,还与文本的语种以及传播的途径等关系密切。一个十分明显的事实是:在国内,汉语言文本期刊与少数民族语言文本期刊传播效果不同;在国际,英文语种期刊与汉语言文本期