国内外期刊评价的理论与实践比较研究

国内外期刊评价的理论与实践比较研究

期评估是文献计量研究的重要组成部分。对学术期刊的发展规律和增长趋势进行了定量分析，阐明了科学文献的数量在期刊中的分布规律，为优化学术期刊的使用提供了重要参考。美国著名情报学家加菲尔德博士在20世纪60年代对期刊文献的引文进行了大规模统计分析,得到了大量被引用文献集中在少数期刊上,而少量被引用文献散布在大量期刊中的结论。这可以被认为是国外期刊评价理论的起源。而随后加菲尔德创建了美国科学情报研究所(ISI),相继开发出SCI(ScienceCitationIndex)、SSCI(SocialScienceCitationIndex)和A&HCI(Arts&HumanitiesCitationIndex)3个数据库。后顺应网络环境的需要,又研发了ISIWebofKnowledge,它是一个基于Web所建立的整合的数字研究环境,为不同层次、不同学科领域的学术研究人员提供信息服务。ISI每年发布一次期刊引证报告(JCR),它是一个综合性、多学科的期刊分析与评价报告,客观地统计WebofScience收录期刊所刊载论文的数量、论文参考文献的数量、论文的被引用次数等原始数据,再应用文献计量学的原理,计算出各种期刊的影响因子、即时影响指数、被引半衰期等反映期刊质量和影响的定量指标。JCR是对世界权威期刊进行系统客观评价的有效工具,通过对来源于ISI的科学引文索引(SCI)和社会科学引文索引(SSCI)的数据进行分析,JCRWeb版收录了世界上各学科最具影响的7000多种期刊,这些期刊涵盖了200多门学科。上述探索被视为国外有关期刊评价的最早实践。期刊评价理论与实践源于国外,我国对期刊评价的研究工作始于20世纪70年代。借鉴国外期刊评价的成熟理论,经过30多年来的不断实践和完善,建立了比较完备的评价指标体系,并相继编制了评价报告,期刊测评工作取得了很大的成就,并扩展用于科研成果评价和期刊编辑水平的评估,在学术界、科研管理部门和期刊界都得到了认可。通过核心期刊遴选结果,学术界可以了解学科、专业的历史和发展,研究前沿和热点论题、论著,新的学科专业的生长点及其发展情况,科研管理部门可以了解到作者、单位、机构、地区、国家的学术生产力(发表论文情况)、课题研究进展和成果情况,期刊管理部门可以了解学术著作、学术刊物的学术影响和作用,以及各学术交流媒体的作用及变化等。这对于繁荣我国学术市场,推动我国学术期刊质量水平的提高,促进期刊出版竞争机制的引入,都起到了一定的积极作用。国内外期刊评价的理论和实践研究都经历了30多年的不断探索与实践,逐渐形成了一套比较成熟的理论体系和评价体系。在国外的期刊评价中,美国科学情报研究所(ISI)开发的SCI、SSCI、A&HCI及JCR对来源期刊的选择和评价受到了国内外的广泛关注和认可。国内比较成熟和完善的有关期刊评价的机构及评价报告分别是:北京大学图书馆研制的《中文核心期刊要目总览》(以下简称《总览》)、中国社会科学院文献信息中心研制的《中国人文社会科学核心期刊要览》(以下简称《要览》)和南京大学社会科学研究评价中心的《中文社会科学引文索引》(以下简称CSSCI)。对它们进行比较研究,可以在回溯期刊评价历史的基础上,了解国内外的期刊评价现状及未来的发展趋势。一、关键期刊的评价理论基础(一)布拉德福分散曲线核心期刊的测定理论依据是布拉德福定律。英国著名文献学家布拉德福于20世纪30年代率先提出了描述文献分散规律的经验定律。他认为:“如果将科学期刊按其登载某个学科的论文数量的大小,以渐减顺序排列,那么可以把期刊分为专门面向这个学科的核心区和包含着与核心区同等数量论文的几个区。这时,核心区与相继各区的期刊数量成1:a:a2…的关系。”其文字表述结论是建立在将等级排列的期刊进行区域描述分析的方法之上的。如果取上述等级排列的期刊数量的对数(logn)为横坐标,以相应的论文累积数R(n)为纵坐标进行图像描述,得到的一条曲线则称为布拉德福分散曲线。布拉德福还给出图像描述法,认为:“半对数载文量——期刊数”图线的起始弯曲部分,对应于核心期刊。核心期刊的概念在布氏定律中初露端倪。后来,人们将核心区中的少数信息密度大、载文量多的期刊称之为核心期刊。(二)2.文学的分布规律二次文献指文摘、题录、索引等。他们所反映的期刊论文的分布,也表现出与一次文献类似的集中与离散的规律。(三)核心期刊与期刊评价研究1953年,美国文献计量学家加菲尔德首先发现了期刊文献引用规律。1962年,他创立了科学引文索引(SCI),并发现有25种期刊在所有学术论文的引用文献中占了24%,152种期刊在所有学术论文的引用文献中占了50%,767种期刊占了75%。1969年SCI论文的70%的引用文献来源于500种期刊,由此可以确定核心期刊的数量。他从中得出结论:各学科核心期刊不超过1000种,最主要的核心期刊不超过500种。这就是著名的加菲尔德引文集中定律。后又相继研制成功了《社会科学引文索引》(SSCI)和《艺术与人文科学引文索引》(A&HCI),形成了一个多学科、国际性和综合性的引文索引体系,为人们提供了一种全新的文献分析与检索途径。期刊评价研究是文献计量学的重要应用领域,它利用文献从其出现、情报加工、使用三方面呈现出的核心效应及由此派生出的其他因素(载文率、影响因子、即时被引率、半衰期、共引关系等)的集中效应,找出期刊发展和应用中的聚散效应。文献的集中与离散的分布规律和引文分布规律,是核心期刊测定的理论依据。二、期刊质量管理ISI各数据库的选刊标准包括很多要素,如出版时效性、国际性,是否符合国际的编辑范例和拥有国际影响力的编委,还包括同行评议,是否有同行评议过程非常重要;也关注期刊的内容,如是否收集了一些新的科学进展,是否能有效补充已经收录的期刊;SCI的选刊标准包括很多因素,如期刊的被引次数、影响因子、发表哪些国家的论文、被哪些国家的论文所引用、是否遵循国际通行的编辑惯例、被引文献的文献项目是否齐全、每位作者有否完整的地址(包括电话号码与传真号码)、是否有英文撰写的能提供一定信息量的标题、文摘和被引文献、是否采用同行评议方式审稿、所载论文研究结果是否具有新颖性、是否反映新的科学进展、期刊编辑委员会及论文作者是否具有国际影响力、新办期刊的主办单位是否具有声望、期刊是否具有地区代表性也注重国际多样性,不仅要收录有国际影响的期刊,还考虑注意收集每一个国家各学科中最好的科技期刊。在引文源期刊的选择上,《总览》注重具有较高学术水平并能全面反映本学科领域研究内容及发展动向、具有较强权威性和代表性的刊物。同时,选择那些主办单位级别高、编辑出版质量好、引文规范严谨,数量相对较多的刊物。选定的来源刊经专家鉴定认可后,确定52种数据库(或文摘刊物)作为统计源,其中35种索引、文摘、引文数据库统计源,17种获奖或被重要检索工具收录统计源。《要览》对来源刊的遴选原则为:“有国内统一刊号(CN)的正式出版物,涵盖了绝大部分有较高学术水平和理论水平,在某学科或某领域内有较高的被引率、引证率,以及较高载文量的优秀学术期刊”。《要览》以引文数据库作为评定核心期刊的基础,因而特别强调引文数据库的质量和基础数据建设,注重来源刊的质量把关。CSSCI具体确定来源期刊的原则有:(1)入选的刊物应能反映当前我国社会科学界各个学科中最新研究成果,且学术水平较高、影响较大、编辑出版较为规范的学术刊物;(2)入选的刊物必须是正式公开出版发行,且具有ISSN或CN号;(3)入选的刊物所刊载的学术文章应多数列有参考文献;(4)凡属索引、文摘等二次文献类的刊物不予收入;(5)译丛和以发表译文为主的刊物,暂不收入;(6)通俗刊物,以发表文艺作品为主的各种文艺刊物,暂不收入。在选刊原则上,ISI的各数据库对收录期刊有严格的要求,如对编辑出版的要求、对论文评审制度的要求、对刊载论文学术影响力的要求等。而国内的评价机构则是依靠自建数据库资源或是网上的数据库资源,按照具体要求从中选择符合评价对象要求的期刊。相比较而言,ISI的来源期刊更符合评价的科学性要求,因为每一种期刊都是经过项目编辑部的严格筛选,通过引文浏览与分析来确定需要选择的期刊。通过学术影响力指标的严格遴选,ISI的来源期刊的学术质量更令人可信。而国内的评价机构所采用的统计源多是借用现成的电子数据库资源,没有经过评价机构自己的严格遴选,部分数据可能不太符合评价的要求。三、文献检索与学科分类JCR提供的学科是自行规定的,与人们常识中的学科划分,与各种包括图书馆分类法、本科或研究生专业教育的分类在内的学科划分是迥然不同的。如ESI划分的22个学科按名称的英文字母排列依次为:农业科学、生物学与生物化学、化学、临床医学、计算机科学、经济学与商学、工程学、环境科学与生态学、地球科学、免疫学、材料科学、数学、微生物学、分子生物学和遗传学、综合交叉学科、神经科学和行为科学、药理学和毒物学、物理学、植物学与动物学、精神病学与心理学、社会科学总论、空间科学。SCI,即《科学引文索引》,是自然科学领域基础理论学科方面的重要期刊文摘索引数据库。利用它可以检索数学、物理学、化学、天文学、生物学、医学、力学、光学工程、仪器科学与技术、动力工程及工程热物理、电气工程与电子科学与技术、农业科学、计算机科学与技术、土木工程、航空宇航科学与技术、控制科学与工程、环境科学与工程、食品科学与工程、管理与教育、材料科学与工程、信息与通信工程等学科,自1945年以来重要的学术成果信息。SSCI,即《社会科学引文索引》,收录数据从1956年至今,是社会科学领域重要的期刊文摘索引数据库。数据覆盖了历史学、政治学、法学、语言学、哲学、心理学、图书情报学、公共卫生等社会科学领域。A&HCI,即《艺术与人文科学引文索引》,收录数据从1975年至今,是艺术与人文科学领域重要的期刊文摘索引数据库。数据覆盖了考古学、建筑学、艺术、文学、哲学、宗教、历史等社会科学领域。ISTP,即《科学技术会议录索引》,主要收录国际上著名科技会议文献。它所收录的数据包括农业、环境科学、生物化学、分子生物学、生物技术、医学、工程、计算机科学、化学、物理学等学科。从1990-2003年间,ISTP和ISSHP(社会科学及人文科学会议录索引)共收录了60000个会议的近300万篇论文信息。Ei,即《工程索引》,主要收录工程技术领域的论文(主要为科技期刊和会议录论文),数据覆盖了核技术、生物工程、交通运输、化学和工艺工程、照明和光学技术、农业工程和食品技术、计算机和数据处理、应用物理、电子和通信、控制工程、土木工程、机械工程、材料工程、石油、宇航、汽车工程等学科领域。ISSHP,即《社会科学和人文会议录索引》,数据涵盖了社会科学、艺术与人文科学领域的会议文献。这些学科包括:哲学、心理学、社会学、经济学、管理学、艺术、文学、历史学、公共卫生等领域。在学科划分上,《总览》采用《中国图书馆分类法》。第一版分为5大编:人文社会科学、自然科学、医药卫生、农业科学、工程技术,共131个类目。第二版分为7大编:马列主义、哲学、经济学、教育、自然科学、医药卫生、农业科学、工程技术,共131个类目。第三版同第二版,分为7大编,75个类目。2004年第四版仍分7大编,共74个学科类目。《要览》以《中国图书馆分类法(第四版)》的学科分类为期刊论文统计的学科分类基础。涉及25个学科类目:法学、管理学(含科学学、人才学)、环境科学、教育学、经济学、军事学、考古学、历史学、马克思主义、民族学、人口学、人文地理学、社会学、体育科学、统计学、图书馆·情报与文献学、文化学、文学、心理学、新闻学与传播学、艺术学、语言学、哲学、政治学、宗教学。其中经济学下列7个分学科。南京大学研制的《中文社会科学引文索引》(以下简称CSSCI)来源期刊(2006-2007)共划分为29个学科(大类):管理学、马克思主义、哲学、宗教学、语言学、中国文学、外国文学、艺术学、历史学、考古学、经济学、政治学、法学、社会学、民族学、新闻学与传播学、图书馆、情报与文献学、教育学、体育学、统计学、心理学、综合社科期刊、高校综合性社科学报、人文、经济地理、环境科学。SCI仅仅是科学评价的一个方面,并不能取代其他的评价要素。当利用SCI来评价科学研究时,要根据上下文的关系和线索来理解,要理解整个领域,要看它属于哪个学科领域,因为不同的学科有不同的引用行为。不要在不同的学科之间进行定量的比较,因为在不同国家和不同学科之间,引文行为差异很大。而国内的期刊评价机构多是采用《中国图书馆分类法》为学科分类基础,虽然它的学科体系有些部分已经滞后于科学技术的发展和学科自身的发展,但我国多数文献检索工具都采用《中国图书馆分类法》对期刊文献进行分类。为了能采集到分学科的统计数据,各评价体系仍然采用其学科体系划分学科。另外,学科分得过宽或过细都会对备选期刊的数量产生影响,由于人文社会科学论文涉及题材广泛,综合性和跨学科趋势明显,学科分得过细会出现论文归类不合理的现象。四、期刊筛选和资料提取ISI的网络版WebofScience提供的信息囊括了可回溯到1900年的涉及到100个学科的全世界8700份领先的学术、科技期刊,包括其中的当前和回溯性的文献信息、作者摘要、及引用参考。各数据库有其严格的选刊标准,收录了超过40多种语言的期刊,其中收录的70多种中国期刊中,有14种中文期刊。ISI编辑部总监吉姆·特斯塔说:“我们置身于无数期刊当中,问题是哪些期刊是最有用的”加菲尔德认为,经过筛选、评估的高质量的信息内容才是有价值的。“世纪科学”项目编辑部认为应该收录那些与今天的研究者有关,并且对其重要作用的研究文献。为了做到这一点,编辑们利用了WebofScience中最强大的工具——引文浏览与分析,来确定需要选择的期刊。第一步就是从WebofScience中1945年至2004年的引文数据分析开始。从1900年到1944年,哪一篇论文的被引频率是最高的该论文发表在哪个公开出版的期刊中仅这一初步的文献筛选过程就涉及到20万种期刊。下一步则是提炼筛选的结果。编辑们决定从中找出至少被引用次数在50次以上的期刊,通过这一步骤,他们锁定了2000多种重要期刊。之后是要对编写的期刊名称进行辨识和统一。ISI期刊收录集团经理认为,早期人们在引用文献时常常不够精确、非常模糊,这是因为早期的科学期刊数量较少,当时行内的科学家彼此都很了解自己专业领域的主要期刊。文献年代越久远,面临的挑战就越大:经过了漫长的岁月,缩写改变了,命名习惯也改变了。利用WebofScience对期刊的被引用进行分析,最终使确认这些刊物的任务得以完成,而且这种分析将选择范围从2000多种期刊归并、缩小到1500多种期刊。海勒说,项目组成员建立了一个期刊筛选的子库(dataset),筛选重点由期刊转向了论文。他们选出那些被引次数在100次以上的论文,并将这些论文的书目信息标准化,建立了一个基于论文筛选的第二个子库,最后将这两个子库进行合并和提炼,找出那些至少出版了5篇以上、被引次数超过100次的论文的期刊,或者期刊总被引次数超过1500次的期刊。《总览》选定的来源刊经专家鉴定认可后,确定52种数据库(或文摘刊物)作为统计源,其中35种索引、文摘、引文数据库统计源,17种获奖或被重要检索工具收录统计源。《要览》采用统计数据主要来自:全国报刊索引数据库(社科版),主要作为期刊载文量和期刊种类的宏观分析对象;中国人文社会科学引文数据库,其来源期刊经过严格筛选和论证,具有较好的代表性,数据质量较为可靠;中国人文社会科学摘转率统计数据库,因其摘转数据的学科分布和期刊覆盖程度较差,只用作参考指标。国内出版的正式期刊约8100种,其中科技期刊约4100种,社会科学类期刊约3700种,剔除掉不收录的文献性期刊等,社会科学学术期刊约2800种。据此,CSSCI确定来源期刊总量为500种左右。根据专家调查反馈结果,经整理后,确定CSSCI(1998年版)来源期刊为496种。2000年,对来源期刊略作调整,确定1999年版来源刊为506种。2000年版来源期刊调整为419种,2003年版仍然保持这个数目。2004年,南京大学中国社会科学研究评价中心咨询委员会对CSSCI来源期刊的调整进行研究,删除了18种因停刊、合并及不符合CSSCI来源期刊收录原则的期刊,并在来源期刊总量上增加了42种,并按照影响因子增补了位于相关学科前列的60种期刊,最后确定2004年版来源期刊为461种。五、核心期刊的评价指标体系ISI每年发布的JCR中有关期刊评价的指标体系主要有:总被引次数、影响因子、即时指数、发文数、被引半衰期。观察期刊评价指标体系不难看出,无论是载文量、影响因子、被引半衰期、总被引次数等,都可以归为科研产出率和学术影响力两类。反映科研产出率的载文量指标可以体现出期刊能够容纳的论文数,而影响因子、总被引次数等反映学术影响力的指标则体现期刊刊载论文受关注的程度。期刊发文数量达到一定的积累才能引起期刊论文学术影响力这个质的飞跃。因为统计源多为书本式的检索工具,所有的数据都是通过手工统计,工作量巨大,因此,《总览》第一版(1992年)只采用了三个评价指标,即载文量、文摘量和被引量。由于有了一批电子检索工具和数据库可供利用,第二版(1996年)和第三版(2000年)增加了一些评价指标,共采用了六个评价指标:被索量、被摘量、被引量、载文量、被摘率、影响因子。第四版(2004年)取消了载文量指标,以进一步提高期刊学术质量在评价中的作用;增加了它引量指标,以适当降低不恰当的自引作用;增加了被国内外重要检索工具收录和获奖量指标,以进一步提高期刊学术质量在评价中的作用。因此,调整后的2004年版核心期刊评价指标体系由七个评价指标组成:被索量、被摘量、被引量、它引量、影响因子、被摘率、获奖或被重要检索工具收录。《要览》利用文献计量学方法,评选出344种核心期刊,涉及25个重要学科。评价指标有七个,分别是:期刊总被引、影响因子、期刊即年影响因子、学科自引量、学科载文量、引文率、摘转率,最后由专家鉴定。CSSCI主要针对人文社会科学的学科、学者、学术期刊、学术机构等评价对象,构建了一个完整的、科学的社会科学评价指标体现,其评价指标主要有三个,分别是被引量、影响因子和专家评审。其中ISI的JCR给出的影响因子是期刊在世界范围内的影响,而无论是《总览》、《要览》还是CSSCI,它们给出的影响因子都是国内期刊在国内的影响,两者之间并不一致,甚至存在着较大的差异。当然,其他的评价指标也存在着同样的问题。六、核心期刊和期刊在确定核心期刊的数量上,布拉德福界定核心区的方法是将期刊按载文量多少排序,并分为3个区,每一区包含学科文献的数量相同,大约1/3载文量,第一区称为核心区。按照布拉德福的原则,第一区的期刊,覆盖了学科文献的30%-40%。我国学者大多采用70%累积载文量所对应的期刊为核心期刊的做法。一般来说,各评价机构采用的主要是累积百分比法、区域法和图像法。(一)核心期刊和核心期刊该方法是截取70%或80%累积文献量所对应的期刊为核心期刊。此法简单易行,得到广泛采用,但缺点是核心期刊数量偏大,适合那些需要较大文献保障量的用户参考。(二)润滑学核心区期刊的选择英国文献计量学家布拉德福首先采用区域法确定核心期刊,他把期刊分成载文量相等的三个区,第一区为核心区,包含1/3的文献量。他从326种期刊中选出9种应用地球物理学核心期刊,从164种期刊中选出8种润滑学核心期刊,核心期刊和参选期刊之比分别是2.3%和4.9%。显然,分区越多,核心区对应的文献数量就越少,核心期刊数量也越少。划定核心区应遵循包含较少数量期刊,对应较大数量文献的原则。此法的优点是可以根据需要来分区,以分区数量来控制评价结果,满足不同评价的需要。(三)核心期刊的数量没有统一布拉德福还发现了用图像法确定核心区的方法。他以论文的累积量作为纵坐标,以对应期刊数量的对数值作为横坐标,得到一条前部上凹、后部平直的论文分布曲线,将曲线与直线的连接点视为分界点,此点之前的区域为核心区,对应的期刊为核心期刊。《总览》在核心期刊数量的确定上采用的办法是:取各学科专业期刊数量的15%和进入统计的期刊数量的2%。第一版共选出了核心期刊2174种,后根据专家意见,适当减少核心期刊的数量,以兼顾在学术评价方面的参考作用。第二版核心期刊数量压缩到1596种,第三版为1571种,第四版为1798种。《要览》选刊的基本出发点是,如果各学科选取的引证期刊占学科期刊总数的20%左右,而其学科载文和被引频次的累计百分比能够达到各自总数的80%左右,那么由这些引证期刊统计出的数据和指标就有较好的代表性和说服力。经统计分析,引证数据的合理选刊范围应参照学科比例和学科期刊数量比例,确定在600种至700种之间,占符合统计要求的3000种学术期刊的20%-30%。CSSCI经过严格精选,并经过千名资深专家鉴定,将核心期刊数量控制在我国正式发行的社会科学期刊总数的8%-15%,是在参照北京大学《中文核心期刊要目总览》核心期刊的基础上遴选出来的。ISI各数据库收录的期刊与CSSCI一样,称为来源期刊,它们建立了引文数据库,提供了当前和回溯性的文献信息、作者摘要、及引用参考,并在每年发布的期刊引证报告中提供包括影响因子等在内的期刊评价指标。在期刊管理、学术评价活动中,评价主体只需要提取相应的指标即可。而《总览》和《要览》则根据文献计量学方法,按学科遴选出核心期刊,并按照各指标给出相应的排序,为学术评价、科研管理提供参考借鉴。七、行业质量监控同行评议(peerreview),亦称同行专家评审,是指同一个学科或研究领域或同一个研究方向的专家按照一定的标准对学术刊物、研究成果、人员、机构等进行的评价活动。同行评议专家应该是该评议领域的专家,具有副高以上的专业职称,他们一般都具有较高的学术造诣,了解本学科国际领域前沿的发展动态,并且具有一定的项目评审经验。同行评议专家除了对所在研究领域保持前瞻性、敏锐度和观察力外,还必须学风严谨,为人正派,评议客观公正,不受人为干扰,一切以学术问题和科学研究作为评议的唯一标准。同行评议始于1