基础研究科技项目绩效评价文献述评与研究展望.docx

基础研究科技项目绩效评价文献述评与研究展望 【摘要】目前我国基础研究科技项目绩效评价体系尚未构建，理论研究比较薄弱，客观要求尽快加强基础研究科技项目绩效评价理论及方法的研究。本文从基础研究科技项目绩效评价起源于演进阶段、模型研究与指标设计、应用研究等方面对现有的研究进行梳理、评析，并在此基础上提出基础研究科技项目绩效评价研究值得关注的三个方向。本文研究内容对我国科研管理绩效评价实践以及发展第三方独立评估制度具有重要引导意义。 下载 【关键词】基础研究 科技项目 绩效评价 评价方法 一、引言 基础研究一般有三种类型：以认识自然现象、揭示客观规律为主要目标的探索性研究工作；以解决社会发展以及科学自身发展产生的重大科学问题为目的的战略导向性研究工作；系统地对基本科学数据、资料和信息进行考察、采集，并进行综合评价和分析，以探索科学基本规律的基础性工作。近年来，基础研究科技项目作为科学探索、技术进步活动的主要载体，对于我国的社会经济发展有着重要的战略意义。随着我国与世界各国对基础研究的财政投入逐年增加，如何科学地评价基础研究科技项目投入产出的绩效成为各国科技管理部门重点关注的核心问题。 二、基础研究科技项目绩效评价研究起源与演进 基础研究科技项目绩效评价的理论研究的起步阶段开始于从20世纪50年代到70年代，在评价目标上注重项目效益，科技项目绩效评价方法上以同行评议为原型的定性评议方法为主，如Delphi法。20世纪70年代到90年代是科技项目绩效评价理论的丰富发展阶段，出现一些定量评议方法，包括文献计量和成本效益法，为科技项目绩效评价的实践提供新的思路。20世纪90年代中后期到21世纪初，随着知识经济、信息技术的快速发展形成了科技项目绩效评价方法创新的浪潮，如应用较为广泛的AHP法、模糊综合评价法、熵权法等。评估重点也由效益转向公平和质量，突破了传统评价模式的单一价值取向，纳入了多元的价值准则。在评价指标方面，有关质量和顾客满意度指标在评估指标体系中大幅度增长。21世纪初至今以来，不同学科的交叉应用对于科技项目绩效评价的发展提供了新的契机。如与信息科学、系统控制学、认知科学等新兴领域的结合使评价技术不断成熟，科学化程度提高。 三、基础研究科技项目绩效评价模型研究与指标设计 （一）国内外基础研究科技项目绩效评价模型研究 基础研究科项目绩效评价其中最为经典的逻辑模型，也叫逻辑框架法，其核心思想是事物层次间的因果逻辑关系，即项目工作的活动过程、产出、最初结果、中间结果和未来结果的逻辑关系排列起来的结果链。一些学者诸如Millar和Julian把它运用于政府计划以及绩效评价中。McLaughlin和Jordan通过对科技计划的投入、活动、产出、结果与影响进行综合分析而实现科技计划绩效评价的目的。从微观层面，Grilinches研究基础研究的社会回报率，对美国10130多家大公司研究开发绩效产生的影响进行分类研究，这些公司的研究开发投资实际上可以视为一种投入过程。我国学者张凤珠等基于逻辑模型，对受政府资助的科技项目进行了系统分析。 （二）国内外基础研究科技项目绩效评价指标设计 目前，基础研究科技项目绩效评价采用多指标综合评价方法。设置指标之前首先应明确指标设置的原则，为后续的指标分解做出导向，Bao在构建科技创新能力评价指标时提出以下五个原则，科学性、综合性、导向性、实践性和动态持续性。Erik Arnold和Katalin Balazs等总结了国际上科学同行评估基础研究绩效所参考的绩效标准原则主要有适当性、经济性、效力、效率、效能、科研性能、科研质量、影响、增加收益、转移收益、方法改进以及计划发展战略等12个方面。在确定指标设置原则后，必须进行指标的进一步细化筛选工作。绩效评价体系初步构成时，对应于具体方法，应首先把复杂问题分解成称之为元素的各组成部分，以形成不同层次。研究表明，最合理的指标体系的层次为34层，即：目标层、准则层、因素层。 四、基础研究科技项目绩效评价方法应用研究 当前常用的绩效评价方法可分为三类：第一类是定性评价方法，例如同行评议法等；第二类是定量评价方法，如熵权法、因子分析法等；第三类是定性与定量评价方法组合评价方法。 （一）绩效评价定性方法研究与定量方法研究 在定性评价方法研究中，章磊、阎波等在明晰国家自然科学基金资助内涵的基础上，选取了19862008年国家自然科学基金委信息科学部面上项目作为分析对象，用同行评议法从资助过程和结果两个方面评价其资助绩效状况。为了克服人为因素的干扰，对于同行评议时的主观性，杨亮，杜红梅将投影寻踪评价模型应用于科技项目评审专家绩效评价中，根据投影值的大小对专家绩效进行评价分析。这种方法规避了同行评议的主观性，为科技项目评审专家绩效评价提供了一种新的思路。定量评价方法应用方面，DEA法是学术界使用较为广泛的一种方法，运用DEA方法对科技项目进行绩效评价，操作较为简便，但是需要的数据量较大。如张利华以海淀区科技计划项目为例，找出影响科技项目绩效水平的因素，运用DEA法对科技项目进行了绩效排名。由于基础研究科技项目绩效评价的样本数据较少，对绩效评价的研究开展造成一定阻碍，赖迪辉认为支持向量机（SVM）算法最为适合解决这个问题。 （二）绩效评价方法组合研究 定性与定量评价方法组合，是依照一定的数学思想将定性评价结果和定量评价结果组合起来，运用一定的数理算法计算得到一个综合的评价结果。该过程体现定性评价和定量评价方法的结合。如王艳芳、刘云等对于不同的指标分别采用了熵权法和专家调查法确定权重。层次分析法（AHP）是目前在科技项目绩效评价中使用最广泛的方法之一，在绩效指标的权重赋权时一般将德尔菲法和层次分析法结合起来，对指标进行科学的测度。Wang使用AHP法评价了制药行业的科技创新能力。在此基础上，我国一些学者对AHP法进行了改进。尹航结合具体指标的特点和数据特征，引入粗糙集信息熵理论，建立了基于AHP-Entropy方法的科技成果转化绩效评价模型，之后又建立了基于AHP-灰色定权聚类分析方法评价模型。 五、基础研究科技项目绩效评价研究评析 通过分析上述理论和实证研究的国内外文献，本文发现，随着对基础研究科技项目绩效评价研究认识的不断深入，尽管相关文献在绩效评价模型、指标体系设计依据、指标选取、评价方法选择、指标权重确定和案例研究等方向取得了一定的研究成果，仍存在如下问题： （一）评价模型与指标体系构建 在基础研究科技项目绩效评价模型与指标体系构建方面，现有科技项目绩效评价文献，缺乏针对基础研究，尤其基础研究科技项目绩效评价的理论模型构建研究。大多数文献并未针对基础研究科技项目的特点进行指标体系构建并选取指标，仅评价其创新性成果的科学价值，未评估其广泛的社会影响价值。 （二）评价指标赋权与评价方法 虽然基础研究科技项目绩效评价指标赋权与评价方法的研究文献较多，但是多为理论性探讨，未考虑赋权与评价方法应用过程中的相关技术问题。现有研究文献中评价方法的主要不足是，定性评价方法有一定的主观随意性，基础研究科技项目绩效评价涉及多行业、多政府部门，由不同行业领域、部门的专家形成的专家组客观存在背景差异，采用定性评价法可能导致评价结果的合理性难以形成广泛认可。定量评价方法计算出来的实际结果有时与预期结果差异较大，同时评价结果易受所选指标样本随机误差的影响。定性与定量评价方法组合不能完全规避定性赋权及评价方法的主观性；同时绩效评价定性与定量方法组合时一般都使用已有方法的组合，创新性不足；几种评价及赋权方法的相容性未得到进一步验证。 （三）评价指标选取与案例验证 在绩效评价指标选取与测评方面，基本为理论探讨，缺乏结合科技项目案例的应用与验证。大部分研究并未将相关项目案例的绩效评价作为试点，将研究结果加以应用，在应用过程中进行总结、分析，以发现指标选取、模型构建方面的问题，并改进、调整相关指标，因而其研究成果不能达到修正完善科技项目绩效评价模型的目的。 六、研究展望：基础研究科技项目绩效评价研究的新机遇 针对当前基础研究科技项目绩效评价政策的发展沿革和对基础研究科技项目绩效评价研究的文献研究，本文认为： 第一，现有研究主要以欧美发达国家的科技项目评价体系研究为参照，尚未考虑我国科研管理的环境适用性与政策特殊性。的确，绩效本身是一个不断发展变化的动态过程，对我国的科技项目进行绩效评价也是一个主观对客观的认识过程。因此，深入挖掘并选择全面体现国家利益的相关指标，探求适合我国国情、政策环境的基础研究科技项目绩效评价模型与指标体系原创性研究范式，对探索性与战略性基础研究分别设置不同侧重目标进行研究。促使不同性质的基础研究科技项目良性发展。 第二，在评价方法方面，学术界需要现有通过不同赋权和评价方法的比较和组合，才能探索出适用于我国科学研究现状的基础研究科技项目绩效评价的指标赋权和评价方法，为开展基础研究科技项目绩效评价提供理论与技术支持，为政府进行科技评价和决策提供可供选择的方法与路径。 第三，采集权威、大量相关科学数据，构建包括科技项目、科技机构、科技成果等方面的基础研究绩效评估完备数据库，对基础研究科技项目指标的科学性与合理性进行案例验证，也应是该领域