文献计量学指标与科技评价

1、1金碧辉金碧辉2SCI 是一种实用的评价工具是一种实用的评价工具由于由于SCI收录中国期刊少，或者说没有收录中国最好的期刊，收录中国期刊少，或者说没有收录中国最好的期刊，因此，不能反映中国的科学水平因此，不能反映中国的科学水平5000多种多种SCI期刊，质量参差不齐，影响因子可以解决期刊期刊，质量参差不齐，影响因子可以解决期刊的质量评估问题的质量评估问题3对对SCI论文的高额奖励论文的高额奖励论文数量论文数量X系数系数=奖金奖金 “科学工分制科学工分制”影响因子影响因子X系数系数=奖金奖金4对话对象：某大学化学与生物学系主任兼科技处处长对话对象：某大学化学与生物学系主任兼科技处处长就生物学与化

2、学学科的科研周期来看，每年发表3-5篇论文是否合适？ 还是比较合适的。那么这样的要求是否会导致科研人员去追求发表论文而不是探索科学问题？ 你提的问题太对了。现在的评价导向就是让科研人员为发表而写文章。 我曾经问过系里的老师，你们发表了那么多文章，有没有一些科学突破？ 回答是：NO5对话对象：某地质大学副校长对话对象：某地质大学副校长就地质学科的科研周期来看，每年发表3篇论文是否合适？ 不合适。那么为什么还要求博士生在三年的学习期间发表3篇论文呢？ 因为大家都这么做，不做不行。 6问题的普遍性问题的普遍性问题的严重性问题的严重性缺乏与科学研究客观规律相适应的科学缺乏与科学研究客观规律相适应的科学

3、合理的科技评价方法。随波逐流，将柔合理的科技评价方法。随波逐流，将柔性的科技评价变成刚性的数量指标。性的科技评价变成刚性的数量指标。 作为科学研究最活跃的因素，即人的因素失去了科学好奇心作为科学研究最活跃的因素，即人的因素失去了科学好奇心和探索精神，发表文章成了理所当然的奋斗目标。按文章数和探索精神，发表文章成了理所当然的奋斗目标。按文章数量论酬劳的量论酬劳的“创举创举”，又给科学研究套上了功利的枷锁。更可，又给科学研究套上了功利的枷锁。更可怕的是，新一代的科学后备军就在这样的环境下怕的是，新一代的科学后备军就在这样的环境下“陶冶陶冶”成长。成长。 7问题的症结问题的症结缺乏对定量指标局限性的

4、认识，走入“定量指标=客观评价”的误区。缺乏科技评价目标与科技评价效果自恰性的检查和反省。缺乏讲真话的评价氛围和相应的制度建设，导致专家的定性评价出 现信任危机。8文献计量学：文献计量学：9 科学技术评价科学技术评价是对是对科学技术活动科学技术活动及其及其产出和影响产出和影响的的价值价值进行判断进行判断 的的认识活动认识活动。科学技术评价既是科学共同体运行的。科学技术评价既是科学共同体运行的内在机制内在机制，也，也 也是科学技术管理的也是科学技术管理的工具工具，是对科学技术活动进行预测、决策、，是对科学技术活动进行预测、决策、 管理、监督、验收的管理、监督、验收的手段手段。 过程和环境过程和环

5、境结果结果质量质量主观思维主观思维外部干预外部干预干扰？干扰？促进？促进？系统功能系统功能10 科技评价的内涵要比文献计量学和科学计量学所能测度的内科技评价的内涵要比文献计量学和科学计量学所能测度的内 容丰富的多。如果仅用定量数据评价科学活动，科技评价会容丰富的多。如果仅用定量数据评价科学活动，科技评价会 因此变得刚性、科学探索会因此而保守、学术思想会因此而因此变得刚性、科学探索会因此而保守、学术思想会因此而 僵化、中国科学会因此而蒙受损失。僵化、中国科学会因此而蒙受损失。 在在宏观宏观和和中观中观层次上的定量观测结果具有一定的参考价值。层次上的定量观测结果具有一定的参考价值。 在在微观微观层

6、次上，由于科学研究活动是一种复杂的人类社会活层次上，由于科学研究活动是一种复杂的人类社会活 动，动，单纯单纯的定量指标很难对个性化的科研结果，特别是科研的定量指标很难对个性化的科研结果，特别是科研 结果的质量高低作出结果的质量高低作出科学、合理科学、合理的评价。的评价。1112y = 5E-95e0.1092xR2 = 0.983401234519901992199419961998200020022004percentage world share(PRCHINA+HK)13专利与R&D总开支OECD国家（1999年）与非OECD国家（2000年）14专利与全时科技人员部分OECD国

7、家与非OECD国家（1998年）15 16 在国际期刊上发表论文意味着什么在国际期刊上发表论文意味着什么 SCISCI论文论文 学术价值学术价值 17 高水平期刊高水平期刊 高水平论文高水平论文 科学共同体的范式和同行评议制度科学共同体的范式和同行评议制度 决定了决定了 高水平的期刊上聚集了高水平的论文高水平的期刊上聚集了高水平的论文18 高水平期刊高水平期刊 高水平论文高水平论文 1997、1999和和2002年年TOP期刊论文期刊论文 学科TOP期刊论文总数中国论文物理学10627433212化物学284565522419 高水平期刊高水平期刊 高水平论文高水平论

8、文 1997、1999和和2002年年TOP期刊论文期刊论文被引次数论文数被引次数论文数被引次数论文数0832804496031621741514958117942592624615218453491933738320064408143481418675337453035516961004241002561002480物理学化学生物20 高水平期刊高水平期刊 高水平论文高水平论文 1010种物理学种物理学TOPTOP期刊论文期刊论文 论文论文(篇篇) 62743 被引频次被引频次 657230论文论文引文引文引频引频100 424篇篇 论文占总数论文占总数 54.26% 论文占总数论文占总数

9、0.68% 引频占总数引频占总数 10.23% 引频占总数引频占总数 10.66%21 高水平期刊高水平期刊 高水平论文高水平论文 1010种物理学种物理学TOPTOP期刊论文期刊论文 论文论文(篇篇) 62743 论文论文(篇篇) 3212 引频引频100 0 0.68%.68% 引频引频100 0.06%0.06% 引频引频5 54.26%54.26% 引频引频100 0.47%0.47% 引频引频100 0 0 引频引频5 45.02%45.02% 引频引频100 34.22%34.22% 引频引频100 5.36%5.36% 引频引频5 27.09%27.09% 引频引频5 43.75

10、%43.75% 引频引频 0 6.93%6.93% 引频引频 0 11.16%11.16%24 被被SCI SCI 收录的某中国期刊收录的某中国期刊 2000 2000年年 影响因子影响因子0.993 0.993 被引频次被引频次327327 自引自引314314 20022002年年 影响因子影响因子2.532 2.532 被引频次被引频次15351535 自引自引14311431玩数字游戏的高手玩数字游戏的高手欺骗了科学家与决策者欺骗了科学家与决策者搅乱了正常的学术秩序搅乱了正常的学术秩序干扰了统计数据的客观性干扰了统计数据的客观性25 收录标准收录标准: : 目次页的前几篇文章目次页的前

11、几篇文章 英文文摘比较标准的文章英文文摘比较标准的文章 收录标准与科研评价标准风马牛不相及收录标准与科研评价标准风马牛不相及26 收录标准收录标准: 虽然有同行评议过程虽然有同行评议过程,但标准比正式期刊低但标准比正式期刊低 吸引更多的同行参加会议是国际会议的组织策略之一吸引更多的同行参加会议是国际会议的组织策略之一 优秀的论文都会在正式期刊上发表优秀的论文都会在正式期刊上发表27 评价评价 评判价值评判价值 价值标准价值标准 评价结果评价结果 不同类型的科研不同类型的科研 与教学活动具有与教学活动具有 不同的价值标准不同的价值标准2829GPRA对以前实行的评价方法的看法 单独使用出版物数量

12、，或在缺乏能够充分体现绩效的其他信息、缺单独使用出版物数量，或在缺乏能够充分体现绩效的其他信息、缺乏对科研环境考察的情况下，乏对科研环境考察的情况下，有可能造成一个即使不是错误的，至少也有可能造成一个即使不是错误的，至少也是不完善的结果。是不完善的结果。 仅仅使用出版物数量作为一个绩效指标，依赖它来运作，也许会影仅仅使用出版物数量作为一个绩效指标，依赖它来运作，也许会影响出版模式或出版率，响出版模式或出版率，造成那种只注重创作更多论文的动机，却忽略了造成那种只注重创作更多论文的动机，却忽略了对新知识的探索。对新知识的探索。30GPRA对以前实行的评价方法的看法 联邦科学机构必须明确各自在科学发

13、展中的定位与性质，制定实现联邦科学机构必须明确各自在科学发展中的定位与性质，制定实现国家目标的最佳的可行性角色的评估战略。适当的评估战略应当鼓励美国家目标的最佳的可行性角色的评估战略。适当的评估战略应当鼓励美国科学能力的最有效的使用，保持和提高研究系统的优越性和响应性。国科学能力的最有效的使用，保持和提高研究系统的优越性和响应性。 一些被采用的评估方法应该精确地反映出被评估的项目的优先权。一些被采用的评估方法应该精确地反映出被评估的项目的优先权。造成那些引起负面动机的绩效指标必须被消除，因为它们比根本没有指造成那些引起负面动机的绩效指标必须被消除，因为它们比根本没有指标更糟糕。标更糟糕。31G

14、PRA对以前实行的评价方法的看法 为确保世界级研究水平而对科学事业进行管理，为确保世界级研究水平而对科学事业进行管理，同行评议是基础。同行评议是基础。研究项目要研究项目要由科学专家来评定其价值，由科学专家来评定其价值，资金的配置也须以研究项目的科资金的配置也须以研究项目的科学价值为依据。潜在的科研项目和科研计划要学价值为依据。潜在的科研项目和科研计划要根据知识前沿领域的卓越根据知识前沿领域的卓越的研究活动的标准进行评价。的研究活动的标准进行评价。同行评议的价值评估同样可以被用来对一同行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。这种回顾性评价的结果可以与其个机构的基础科学

15、项目作回顾性评价。这种回顾性评价的结果可以与其他有关信息资源相结合。他有关信息资源相结合。32基础科学项目评估原则 首先对项目目标作清晰详尽的描述；首先对项目目标作清晰详尽的描述； 规划出旨在维持和提升研究系统的优点和回报的标准；规划出旨在维持和提升研究系统的优点和回报的标准； 建立起对管理人员有用的绩效指标，鼓励风险投入；建立起对管理人员有用的绩效指标，鼓励风险投入； 避免过度繁重的，或花费太大的，或可能引起制造数据的动机的评估活动；避免过度繁重的，或花费太大的，或可能引起制造数据的动机的评估活动； 合并对项目绩效的价值评价和同行评议；合并对项目绩效的价值评价和同行评议； 使用多种评价素材和

16、证据，如定量指标、定性指标和叙述性报告的结合；使用多种评价素材和证据，如定量指标、定性指标和叙述性报告的结合； 进行实验以规划出一套有效的评估工具；进行实验以规划出一套有效的评估工具； 提出评估报告，为完善未来的政策发展和项目计划提供参考；提出评估报告，为完善未来的政策发展和项目计划提供参考； 将评估结果传达给公众和有关代表。将评估结果传达给公众和有关代表。33荷兰物质科学基础研究荷兰物质科学基础研究基金会凝聚态物理基金会凝聚态物理5656个个项目同行评议结果与文项目同行评议结果与文献计量学指标的排序结献计量学指标的排序结果之间的相关性分析果之间的相关性分析荷兰莱顿大学科学社会荷兰莱顿大学科学

17、社会学研究中心学研究中心1990-19941990-1994应用研究应用研究基础研究基础研究 P P 0.27 0.27 0.25 0.25 C C 0.35 0.35 0.51(+) 0.51(+) CPP CPP 0.3 0.3 0.64(+) 0.64(+) CPPex CPPex 0.27 0.27 0.72(+) 0.72(+) %Pnc %Pnc -0.22 -0.22 -0.13 -0.13 FCSm FCSm 0.23 0.23 0.31 0.31 CPP/FCSm CPP/FCSm 0.29 0.29 0.66 0.66（+ +） JCSm JCSm 0.36 0.36 0.

18、50(+) 0.50(+) CPP/JCSm CPP/JCSm 0.13 0.13 0.50(+) 0.50(+) JCSm/FCSm JCSm/FCSm 0.38 0.38 0.53(+) 0.53(+) %Selfci %Selfci -0.06 -0.06 -0.67 -0.6734 评价评价 评判价值评判价值 价值标准价值标准 评价结果评价结果 不同类型的科研不同类型的科研 与教学活动具有与教学活动具有 不同的价值标准不同的价值标准35简单地使用定量数据，用定量数据代替同行评议。简单地使用定量数据，用定量数据代替同行评议。 将将SCISCI论文和论文和EIEI论文放到了不恰当的位置，成

19、为论文放到了不恰当的位置，成为 最高的学术标准。最高的学术标准。 量化评价结果不科学地与个人利益挂钩，这种利益量化评价结果不科学地与个人利益挂钩，这种利益 驱动的评价导向引发了科研人员的短期行为。驱动的评价导向引发了科研人员的短期行为。36 管理者的认识误区 评价者的人情文化 被评价者的无奈与行为异化 科研目的：为了发表文章，而不是探索未知问题科研目的：为了发表文章，而不是探索未知问题 借文章、抄袭、制造假数据、拆分文章、拼凑文章、借文章、抄袭、制造假数据、拆分文章、拼凑文章、 小团体互引、不敢大胆探索、用钱买引文小团体互引、不敢大胆探索、用钱买引文37少一点少一点多一点多一点新闻、抄作新闻、

20、抄作研究、观察研究、观察目标与结果目标与结果一致性一致性38辅助辅助参考参考为评价专家提为评价专家提供思考的空间供思考的空间39纵向比较纵向比较同类比较同类比较与定性评价结合与定性评价结合目标与结果一致目标与结果一致切忌定量评价的切忌定量评价的绝对化和简单化绝对化和简单化40 检验41对于那些从定量数据中得出的定性结论总是对于那些从定量数据中得出的定性结论总是取决于其应用中的智慧。取决于其应用中的智慧。42只有当文献计量学指标具备了足够先进的技只有当文献计量学指标具备了足够先进的技术水平，只有当人们对文献计量学指标的自术水平，只有当人们对文献计量学指标的自身缺陷有了足够的认识时，也只有在这些指

21、身缺陷有了足够的认识时，也只有在这些指标与其他更多的定性评价信息相融合时，文标与其他更多的定性评价信息相融合时，文献计量学指标才能成为科研绩效评价的有效献计量学指标才能成为科研绩效评价的有效工具。工具。43科学计量学指标并不是要取代专家科学计量学指标并不是要取代专家, ,而是为了而是为了能够对研究工作进行观察和评论能够对研究工作进行观察和评论, ,从而使专家从而使专家能掌握足够的信息能掌握足够的信息, ,形成根据更充分的意见形成根据更充分的意见, ,并并在更高的信息集成水平上更具有权威性。在更高的信息集成水平上更具有权威性。44英国科学技术办公室主任英国科学技术办公室主任David A. Ki

22、ng2004年年7月月15日日Nature：The scientific impact of nations美国海军研究所美国海军研究所Ronald N. Kostoff博士博士2004年年9月月27日日The Scientist： The (Scientific) Wealth of Nations45King：选择了选择了31个国家或地区作比较对象，个国家或地区作比较对象，中国的归一化篇均引文倒中国的归一化篇均引文倒数第四。数第四。Kostoff：如果要向决策者提供有用的信息，就需要对感兴趣的国家的关如果要向决策者提供有用的信息，就需要对感兴趣的国家的关键技术进行仔细分析后，再进行国家层次

23、的总体分析才有意义，也才能键技术进行仔细分析后，再进行国家层次的总体分析才有意义，也才能评价表达国家政策的这些技术之间的关系。评价表达国家政策的这些技术之间的关系。Kostoff对关键性的纳米技术对关键性的纳米技术领域进行了领域进行了SCI论文数量的统计，结果是中国第一，美国第二。论文数量的统计，结果是中国第一，美国第二。 46名次名次国家国家/地区地区论文数论文数名次名次国家国家/地区地区论文数论文数1中国362111中国台湾5872美国318212西班牙5573日本301013加拿大5184德国207514瑞士3915法国133015荷兰3786韩国126316波兰3587英国94117新

24、加坡3088俄罗斯85618瑞典3029意大利75819澳大利亚29810印度64720巴西284纳米技术高度关键领域的论文数（纳米技术高度关键领域的论文数（1997-2002年）年） 中国第中国第1位，比美国位，比美国高出高出14%。在前。在前6位位国家中，中国、日国家中，中国、日本和韩国等亚洲国本和韩国等亚洲国家的论文数比美国、家的论文数比美国、德国和法国三个西德国和法国三个西方国家的论文数多方国家的论文数多20%。 47美、英、德国、法、日、中六国纳米科技论文比较460216431152216771728390100020003000400050001991 1992 1993 1994

25、 1995 1996 1997 1998 1999 2000 2001 2002 2003论文数美国德国法国日本英国中国48六国纳米科技论文占世界的份额0.0%10.0%20.0%30.0%40.0%50.0%1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003美国英国德国法国日本中国49美、英国、德、法、日、中六国纳米科技引文比较01000020000300004000050000600001991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003

26、引文数中国英国日本美国法国德国50英、德、法、日、中五国纳米科技引文比较0500010000150001991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003引文数中国英国日本法国德国51六国纳米科技引文占世界的份额52.9%43.1%14.4%10.0%1.2%10.6%0.0%10.0%20.0%30.0%40.0%50.0%60.0%1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003美国英国德国法国日本中国52美、英、德、法、日、中六国纳米

27、科技篇均引文比较010203040501991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003篇均引文中国英国日本美国法国德国53六国篇均引文与世界水平的比较0.000.501.001.502.001991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002篇均引文中国英国日本美国法国德国世界54六国被引频次六国被引频次 10的论文比较的论文比较引文10论文数总论文数A/BABC美国19510124061139.52%德国2292749743330.04%日本328

28、03211686523.99%法国4191856761428.37%中国51399310321613.55%英国6130664057232.19%A位次B位次C位次国家5510国被引频次国被引频次 10的论文比较的论文比较国家国家国家论文国家论文/世界世界国家国家国家引文国家引文/世界世界美国27.18%美国39.25%日本14.66%德国13.57%德国11.93%日本13.13%中国10.06%法国7.98%法国7.72%英国6.79%俄罗斯5.77%中国4.73%英国5.58%意大利3.52%意大利3.77%瑞士3.26%加拿大2.37%加拿大3.07%瑞士2.17%俄罗斯2.98%12

29、.07%-1.52%1.64%-5.34%0.25%-2.79%1.20%-0.25%0.71%1.08%56谁在引用中国论文？谁在引用中国论文？对被引频次 10的2086篇中国论文的引证论文（32958篇）进行统计，结果是： 中国作者引证中国论文: 13388篇 占引证论文总数的40.62% 外国作者引证中国论文： 19570篇 占引证论文总数的59.38% 20862086篇论文占中国纳米科技总论文数篇论文占中国纳米科技总论文数(15220(15220篇）的篇）的13.7%13.7% 57中国在纳米科技领域的论文位居世界前列引发的思中国在纳米科技领域的论文位居世界前列引发的思考考在科学研究

30、环节，是否有低水平重复或在科学研究环节，是否有低水平重复或资源过度配置的倾向？资源过度配置的倾向？ 其中有多少成果达到世界水平？其中有多少成果达到世界水平？ 其中有多少成果在向产业化推进？其中有多少成果在向产业化推进？ 其中有多少成果申请了专利？其中有多少成果申请了专利？ 58 定量评价在中国科学发展的特定历史阶段起到了一定的促进作用，定量评价在中国科学发展的特定历史阶段起到了一定的促进作用，大大提高了中国科学的国际显示度。面临论文数量扩张阶段的中国科学大大提高了中国科学的国际显示度。面临论文数量扩张阶段的中国科学事业，科技评价更要关注中国科学对世界科学进步所做的实质性贡献，事业，科技评价更要

31、关注中国科学对世界科学进步所做的实质性贡献，更要关心中国科学技术对中国经济发展所做的贡献。更要关心中国科学技术对中国经济发展所做的贡献。 要保持中国经济持续快速发展的势头，中国科学技术人员有不可推要保持中国经济持续快速发展的势头，中国科学技术人员有不可推卸的责任。需要我们在科技评价中正确处理好定量评价与定性评价的关卸的责任。需要我们在科技评价中正确处理好定量评价与定性评价的关系，通过科学合理的评价，使中国的科学研究事业能够统一到国家战略系，通过科学合理的评价，使中国的科学研究事业能够统一到国家战略发展目标的大旗下，繁荣中国科学，服务于中国社会。发展目标的大旗下，繁荣中国科学，服务于中国社会。59NATURE1997年9月17日三则短篇讨论了论文的质量与数量的关系60SCIENCE 2002年4月5日 Vol.296,No.5565 关于水稻基因组的两篇文章美国论文 到2004年11月25日 被引用473次A draft sequence of the rice genome (Oryza sativa L. ssp japonica Goff, SA, et al中国论文 到2004年11月25日 被引用461次A draft sequence of the ric