为了在GPRA的框架下更好地开展绩效评估

1、为了在GPRA的框架下更好地开展绩效评估，NSF特别重视与绩效目标相关的数据采集、 证实和认证工作。例如，NSF的项目结题材料过去都是开放式的纸质结题报告书，实施GPRA 之后，NSF要求结题报告提供更详细的内容，而且全部进入由NSF维护的网络系统，便于 人们方便快捷地查询。NSF还将以往监督同行评议的外部专家委员会(COV，Committees of Visitors)的职能进行了拓展，除了继续监督同行评议过程(即投资过程的一部分)之外， 任务重点转移到了评估各资助计划的结果。NSF的评估数据源包括其中心数据库(电子化 的项目结题报告系统、申请书系统、项目批准系统、评议专家系统、财务系统、绩

2、效评估报 告系统等)、分散的信息源(如科学出版物、NSF发布的新闻简报、包括COV报告和咨询 委员会AC，Advisory Committees报告在内的独立评估报告、各科学局及下属各处的年度总 结、各项计划的年度总结等)和NSF内部建立与维护的本地数据库。必要时，NSF还利用 其外部建立与维护的合同数据库。通过这些信息源，NSF就可以有效开展制度化的绩效评 估活动了。NSF所有的科学局和其他局(或办公室)都必须评估其预算中所列举的计划实施的结果， 并形成各局的绩效报告。各局的绩效报告与COV、AC的评估报告一起提交到综合活动办公 室(Office of Integrative Activit

3、y)，这些报告的内容还将被整合成NSF的总绩效报告，提请 NSF主任办公室和NSF的董事会国家科学理事会(NSB，National Science Board)审议， 批准后方能提交至国会、GAO和OMB。表1简要列出了 NSF的绩效评估“评什么”、“何时评”和“谁来评”等基本内容：表1 NSF绩效评估简表被评估对象评估频率评估执行者计划层次的评估*每年30%由NSF外部专家组成的COV各局层次的评估*每年100%由NSF外部专家组成的AC专项计划的评估(如MRI、STC、GRF等涉及NSF多个部门的活动)*各不相同由NSF 外部专家组成的COV或通过与NSF签订合同开展评估的合同方所有与NS

4、F实施GPRA有关的活动*每周NSF内部高级管理层如DPG、GIIC等* NSF每年有1/3的计划得到评估，整个财年都可以进行。所有的计划评估以三年为一个周 期。COV要说明计划管理和资助结果目标达到的情况，NSF的高级管理层将使用这些评估 的信息，并将把这些信息整合进NSF的绩效报告中。* NSF各局的AC每年评估本局的活动，并审议本部门的COV报告。主要评估各局在实现 NSF绩效目标中的贡献，形成供NSF管理层使用的报告，并总结NSF的绩效结果。时间安 排为每年开两次会，在财年年终进行评估；AC还运用COV的报告，作为与各局讨论战略 规划的基础。*涉及NSF多部门的资助计划由外部评估者通过

5、签订合同开展，主要评估计划的影响力。 评估时间因计划的不同而异。此类计划如重点研究仪器(Major Research Instrumentation， MRI)计划、科学技术中心(Science and Technology Centers，STC)计划、研究生研究助学 金(Graduate Research Fellowships， GRF)计划等。* NSF的内部高级管理层每周召开会议，讨论和评议GPRA在NSF的实施情况，并提出 建议。相关部门包括 DPG(Directors Policy Group)、GIIC(GPRAInfrastructure Implementation Cou

6、ncil)等o资料来源：NSF： GPRA Performance Report FY 2000 (本文采用时有删节)。与NSF提交GPRA报告的情况有所不同，NIH每年提供一份由年度绩效规划与绩效评估合 二为一的报告(如 FY 2003 GPRA Annual Performance Plan / FY 2001 GPRA Annual Performance Report)，将绩效目标与实际绩效水平进行直接对比。如NSF 一样，NIH的绩效 报告中既有对资助结果的评估，也有对其内部的领导与管理工作的评估(如优先领域制定、 项目管理、同行评议等方面的内容）；对资助结果的评估以定性描述为主，对

7、管理活动的评 估则采用了一些定量指标。此外，NIH还准备了其他与GPRA相关的报告，如NIH研究 计划成果评估报告，列举NIH资助下的科学研究产生的重大突破和进展。NIH认为，这 类成果的举例也是绩效评估的有力指标。对NIH研究计划成果的评估由独立的GPRA评估 工作小组承担，但NIH的各下属研究所和研究中心必须提供关于本部门研究进展和新发现 的评估素材。评估包括5个方面：（1）在关于正常与非正常的生物功能和行为的知识增长 方面的贡献；（2）为医学研究与医疗实践开发的新仪器和技术，或对已有的仪器和技术进行 的改进；（3）在预防疾病和残疾的发作或延缓其发展方面发现的新方法或对已有方法进行的 改进

8、；（4）在疾和的残疾的诊断方面发现的新方法或对已有方法的改进；（5）在治疗疾病和 残疾方面发现的新方法或对已有方法的改进。这些描述性的、内容较为详细的报告，可让公 众更清楚地看到，NIH资助的研究成果在提高人们生活质量、改善健康和医疗水平方面作出 的贡献。3几点启示通过以上介绍的美国联邦机构对基础研究的评估实践，比较我国近年来方兴未艾的绩效评估 活动可以发现，在对评估的目的、手段、作用等方面的认识与实践上，二者存在着较大的不 同。如，美国注重“为何评”及“评什么”，而我国则更关心“如何评”；美国政府绩效评估的重 点在于基础研究的资助和管理工作，而我国却在于评估科学研究工作本身；美国强调对科学

9、研究的整体绩效，而我国则关注对研究项目和人员的单独绩效；美国的绩效评估作为目标管 理的一部分，与制定战略规划和战略实施规划组成有机的整体，而我国的绩效评估却缺乏可 以进行比对的战略目标和实施措施，难以做到有的放矢，等等。尽管目前包括美国在内的世 界各国在对基础研究的绩效评估方面，都远不能说有成熟的通行方法可循，但美国实施 GPRA的经验仍然对我国开展评估活动有重要的借鉴与启示意义。3.1绩效评估是改进科研管理的重要手段在考察美国GPRA在基础研究领域的实施情况中，我们应当特别注意的是，美国联邦要求 评估的直接对象是政府机构，而不是科学界。在诸多关于美国GPRA的报告和文章中，人 们反复强调，政

10、府开展绩效评估的目的是改进其管理工作的效益与效率，而对科学研究质量 的评估只能由科学共同体通过同行评议来承担；政府开展绩效评估重在评估其资助工作的整 体绩效，而非评估项目乃至由某类项目组成的计划层次上的结果和影响。在美国，由于支持 基础研究的联邦机构通过基于同行评议的项目拨款方式，来控制其所资助的科学研究的质 量，申请人在得到项目资助的同时，就意味着接受了竞争激烈的评议考察，项目结束后建立 的档案还将入册、上网，作为评议下一次申请或同行科学家进行监督的参考。这样一整套制 度就建立起了一个特别有效的事前评议系统，减少了在项目和计划层次上进行事后评估的必 要。因此，美国政府要求对基础研究的整体绩效

11、进行评估，并不意味着对研究项目和计划 没有监督，而是将这一职责交给了科学共同体，并通过有效的事前评议系统为研究质量把关， 防患于未然；而保证在事前评议中发挥决定性作用的同行评议系统有效地运行，正是管理部 门的一项重要职责。对于我国的科研管理部门来说，建立和维护公正、公平、公开的同行评议系统是当务之急。 近年来我国基础研究领域评估中出现的许多问题，都与同行评议系统的“失效”有关。“把归 恺撒的交给恺撒，把归上帝的交给上帝”科研管理部门应将对科学质量的评估工作交给 科学共同体，包括组织科学家独立开展对基础研究的科学价值的评估，并保证我国的同行评 议系统有效地运行；而管理部门的绩效评估活动则应重点针

12、对其资助与管理水平的提高，使 有限的科研资源得到优化配置，以发挥更大的作用。3.2对基础研究的绩效评估谨防导致科研短期行为美国科学界在GPRA颁布伊始的担忧并非全无道理，不恰当的评估活动必定会给基础研究 带来负面影响，如，过于频繁的评估给科研人员造成额外负担，不合理的评估指标对研究起 到误导作用，尤其是在评估中强调基础研究在短期内出成果，可能会导致科研活动中的短期 行为，从而极大地损害科学事业的基础。因此，在与GPRA的相关文件中，美国联邦政府 及有关机构一再强调，对基础研究进行绩效评估要充分考虑基础研究的特殊性，从基础研究 的长期性、积累性、结果的难以预见性等特点出发，采用与之相适应的评估方

13、式。对这一原 则的贯彻结果就是，同意NSF和NIH在评估其资助的研究结果时，不必象其他机构一样使 用定量指标，而是以定性的方式进行绩效评估；而且，对研究计划的资助结果评估不必每年 进行，而是评估其长期资助的整体结果，这样才会避免科研的短期行为，为基础研究创造一 个有利于创新的环境。而目前我国开展的基础研究绩效评估有片面倚重定量指标的现象，且 评估有愈渐频繁的趋势，已经导致了一些科研人员盲目追求论文数量、忽视研究质量的问题， 甚至助长了科学研究中的浮躁风气，应进一步引起科研管理部门的高度重视，尽快制定保护 创新的评估政策，引导我国基础科学事业的健康发展。3.3科研管理机构的绩效评估应与制定规划相

14、结合从美国的经验可以看到，虽然NSF和NIH在20世纪70年代就开始了评估工作，但将绩效 评估活动作为其日常工作的一部分，则还是在1993年GPRA实施之后。究其原因，具有法 律意义的强制要求是绩效评估活动得以制度化的重要因素，与此同时，国会要求联邦机构将 其长期战略规划、年度绩效规划和绩效评估工作结合起来，根据绩效规划设立的定量和定性 目标开展评估。这样就使得评估目标更明确，评估工作更具有可操作性，这也是绩效评估制 度在美国得以贯彻执行的必要基础。而我国的科研管理部门在战略规划的工作方面较为欠 缺，规划的内容易流于空泛，偶有定量的目标也往往不太切合实际，给实际的操作带来一定 困难。若能借鉴美

15、国的经验，将绩效评估与制定规划结合起来，并将这两项工作整合到研究 经费的预算编制与批准过程之中，绩效评估活动将有可能步入经常化与制度化的轨道。3.4数据积累是开展基础研究绩效评估的前提与基础评估离不开比较一一既有如国际比较和机构间比较等横向比较，也有如历史比较、目标-结 果比较等纵向比较，而比较需要数据和素材，项目层次相关结果的数据和材料是开展计划以 及更宏观层次的绩效评估的必要基础。美国之所以能够开展制度化的绩效评估，得益于其长 期积累的、可开展横向与纵向比较的大量基础数据，得益于其数据获取的快速与便捷；GPRA 的实施更推动了 NSF和NIH的数据库建设，尤其是在数据库的电子网络化方面，近

16、年来又 有了长足的进步。而我国在科研成果基础数据的积累、认证和获取方面都还存在许多不足， 从客观条件上制约了评估的科学性及绩效评估活动的进一步发展。相关管理部门应尽快规范 我国国家层次和机构层次上基础研究成果数据的采集和认证，促进数据共享，推动网络化建 设，为包括绩效评估在内的科研管理与决策工作的科学性奠定可靠的基础。参考文献：David Demeritt. The New social contract for science: accountability, relevance, and value in US and UK science and research policyJ. An

17、tipode 32:3. 2000. pp. 308-329J A D Holbrook. Why measure science?J Science and Public Policy. vol. 19. No. 5. 1992Hans Skoie. Basic research a new funding climate?J Science and Public Policy, vol. 23, No.2, 1996同1OECD. The evaluation of scientific research: selected experienceC. OCDE/GD(97)194. 199

18、7. OECD: ParisSusan E Cozzens and Tim Turpin. Processes and mechanisms for evaluating and monitoring research outcomes from higher education: international comparisonsJ. Research Evaluation. vol.8. No. 1. 2000同5David Roessner. Outcome measurement in the United States: state of the art未干刊稿.the paper

19、prepared for presentation at the annual meeting of the American Association for the Advancement of Science, Boston, MA, February 17, 2002李正风.基础研究绩效评估的若干问题J.科学学研究.2002年第1期Government Performance and Results Act of 1993法律文件. HYPERLINK /omb/mgmt-gpraSusan E.Cozzens. Are new accountability rules bad for science?J Issues in Science and Technology. vol. 15. No. 4 (Summer 1999)National science and Technology Council Committee on Fundamental Science. Assessing fundamen