我国杰出青年科技人才资助成果评价指标体系的构建

我国杰出青年科技人才资助成果评价指标体系的构建

0项目后期管理与成果评估相结合,全面开展项目的绩效评估人才是促进社会发展的动力，是先进生产力的集中体现。科技人才作为最为有价值的资本和核心资源,已成为经济增长的主要源泉和主体要素。1994年我国设立杰出青年科学基金,以加速培养能够进入世界科技前沿的优秀学术带头人。基金成立至今共投入科研经费184865万元,资助人才1840人,大批基金获得者已成长为各自学科领域的学术带头人,成为我国基础研究创新的中坚力量。目前,我国针对基金资助建立了较为完善的评审与监督机制,但是对项目后期管理却处于探索阶段。对已结题的基金项目进行跟踪管理与成果评估,不仅可加强项目后期管理工作,而且有助于掌握结题项目的研究成果和研究水平,实现基金项目的全过程管理。2009年是杰出青年基金设立十五周年,在此背景下,如何完整总结和回顾所取得的成果,更好地评价人才培养的绩效,不断完善项目资助的管理办法,有必要对15年来的杰出青年科学基金资助成效进行全面、深入的调查分析、梳理和总结,为杰出青年科学基金的发展提供参考。在分析目前的现实背景和吸收前人研究成果的基础上,本文将对人才资助成果的评价指标体系及我国杰出青年科学基金的资助效果进行研究。1直接成果的产效研究成果评估作为绩效评估的一部分,能从一个侧面反映项目资助绩效。张晓云和谭静等指出,项目绩效一般包括产出和产效两部分。Godin和Dore将产出定义为直接结果或科学产物,包括专利、知识(用论文衡量)、得到训练的新人等指标;效应又分为直接效应和间接效应,不仅是产出的效应,还有其在现实中的运用。本文所指的资助成果包括“产出”和“产效”两部分。“产出”是指研究的直接成果,包括论文、专利、毕业生等新知识载体,往往在一项基础研究完成时立即产生;而“产效”是指产出作用于社会、经济所带来的实际影响,通常要经过一定的时间周期才能体现。魏江等人对基础研究评价指标进行国内外对比,提出了包括产出、产效及影响两个一级指标,产出下面又分为课题、论文、会议报告、专著、知识产权、人才培养6个二级指标;产效及影响下分为学术声誉、学科发展、人才(教育)、科学知识、政策、文化、经济贡献、社会贡献8个二级指标。贺天伟等认为,科研绩效主要有以下表现形式:承担项目、发表论文、科技著作、获奖成果、获得专利、成果鉴定、创造价值、培养人才等。江永真在进行科学基金项目后评价研究时,提出了科学基金项目跟踪管理终评指标体系,分为发表论著、课题完成情况、学术创新、成果获奖或专利、成果推广及效益和人才培养6个一级指标。每个一级指标下又分若干个可以测度的二级指标,并对不同级别的二级指标赋予相应的权重。目前,对科研项目成果的评价方法分为定量分析与定性分析两类,评价工具包括层次分析法、主成分分析法、灰色系统评价法、模糊综合评价法、DEA法等,各有优劣。国内对我国杰出青年科技人才资助成果的评估还没有涉及定量方法,国外对科技人才成果的定量化评估也很少提及。2建立评估指标体系并收集数据2.1评价指标体系的建立根据基金项目投资要达到的目标和要实现的社会功能,结合成果评估的内涵和评估的基本要求,评价指标和方法的选择应遵循目的性、系统性、科学性、可比性、公正性、可操作性等原则。基于以上原则与国内外评价指标体系的设计,建立我国杰出青年科技人才资助成果评价指标体系。该指标体系将资助成果分为“产出”和“产效”两部分,“产出”指研究的直接成果,包括论文、专利、毕业生等新知识载体;“产效”指研究产出作用于社会、经济所带来的实际影响,包括杰出青年科技人才的个人发展和产出所产生的社会效益两部分。具体的评价指标体系见表1。本文对于我国杰出青年科技人才资助成果三方面的分类综合评价采用了DEA方法。由于本文的指标体系只有输出,没有输入,同时希望二级指标越大越好,从而得到较高的资助成果水平,故采用只有输出指标的DEA方法,结合Cooper,Seiford和Tone关于决策单元输入和输出项目的选择,应用Lingo软件计算结果。通过DEA方法得到我国杰出青年科技人才资助成果三方面的分类资助成果水平值,再采用方差分析、独立样本的T检验来对其在各方面的水平进行比较研究,并采用聚类分析、因子分析等方法对我国杰出青年科技人才资助成果总体水平进行了等级划分。2.2调研过程与问卷设计2008年5月到7月,通过与国家自然科学基金委员会政策局相关负责人进行交流沟通和访谈,了解到我国杰出青年科学基金的资助现状及评估中遇到的问题等方面;同时充分借鉴前人的研究成果,进行问卷设计和试调研、再修改。问卷调研过程包括通讯地址的确认、被调查者单位通知和名单核对、调查问卷的发放与回收等步骤,最终共发放问卷1793份,回收问卷789份。问卷回收后,首先对问卷的代表性与有效性进行分析,以确保数据分析结果合理。从学科、年龄、单位性质等方面来看,各部分在回收问卷中所占比率与实际资助中所占比率大致相同,说明回收的问卷具有很好的代表性。同时,综合所有数据缺失情况,考虑到回收问卷的实际情况和问卷中某部分数据的重要性,最后确定有效问卷761份。问卷回收率为44%;问卷有效率为96.45%;回收有效率为42.44%,有效性得到验证。3评估中国青年科学基金项目的成就3.1与国外关系的关系首先对受访杰出青年基金获得者的个人基本特征进行描述分析。被调查的基金获得者年龄主要集中在36~40岁(占39%)和41~45岁(占48%),说明基金获得者有高龄化趋势,年龄分布不平衡;最高学位授予国以中国居多(占73%),但国外留学回国所占比例达27%,可以看出,杰出青年科学基金对我国海外留学人才起到较强的吸引作用;被访者隶属于高等院校的人数(占67%)多于中科院所(占33%),这和我国高等院校、中科院所的数目比例大致一致;受访人大多分布在北京、江苏、上海等地,所占比例达一半以上,这些地方正是高校、科研院所大量集中的地方,也是我国基础研究人员较为集中的地方;生命科学部与材料与工程科学部的受访人高于平均水平,其次为工程材料科学部、数理科学部与化学科学部,而管理科学部的受访人最少。由被访者的个人基本信息描述可以看出,样本所表现出来的特征与我国基金委网站所统计的实际情况比较吻合。3.1.1资助人数和企业大赛在院士荣誉方面,14人获得中国科学院院士,获得中国工程院、发展中国家科学院院士、外籍院士的只有6人,在其他项目受资助方面,获得国家高技术研究发展计划的受资助者所占比例最多为39%,其次是获得中国科学院“百人计划”和教育部“长江学者奖励计划”的受资助者比例均为26%,而获得国家重点资助基础研究发展计划的受资助者人数最少,所占比例不足13%;在项目获奖方面,在杰出青年基金资助下获得国家三大奖的比例为17%。其中获得国家自然科学奖的比例为8%,获得国家技术发明奖的比例为3%;获得国家科学技术进步奖的比例为9%。同时,有34%的被调查者曾在学术组织任职,有49%的被调查者曾组织学术会议,81%的杰出青年获得者曾做过国际学术报告,45%的基金获得者曾担任国际期刊编委。由此可知,基金获得者在学术活动方面取得了骄人的成绩,并逐渐成为各自领域的学术带头人。3.1.2被调查项目单位专利情况在文章发表方面,人均论文数为20篇左右,而人均专著数在0.5部左右。其中,人均EI,SCI收录论文数为8篇、25篇,人均会议论文ISTP收录数为4篇。在培养人才方面,平均每个项目培养2个博士后,博士和硕士研究生各7个。在专利方面,被调查项目中获得专利的比例为47%,但其中只有33%的专利获得转让\实施许可并产生了一定的社会效益;同时,国内专利不论是从获得还是从转让和实施许可的状况上,都高于国际专利。在项目获奖方面,只有17%的项目成果获得国家三大奖,得到了我国较高的认可,产生了较为广泛的社会效益,获得国家自然科学奖、国家技术发明奖、国家科学技术进步奖的比例分别为8%,3%,9%,而其中又以获得二等奖的人数最多。3.2基金赠款的绩效评估3.2.1各学科项目的效率分析(1)基本情况。以论文发表、人才培养两方面的9项指标为输出,运用无投入DEA模型计算各项目产出的直接成果效率值。为避免年份给评价带来的影响,在计算时首先将项目按获得年份分类,分别计算各年所有受资助项目的相对效率,使每个基金获得者的成果只与同年的其他获得者成果进行横向比较。对所有项目的相对效率值进行频数统计。图1表明,项目直接成果效率水平在0.8以上的项目占30%,大部分(约53%)的效率水平值徘徊在0.4左右(0.3~0.8之间)属于中等水平,效率值为0.3以下的占16%,只有5个项目的直接成果效率小于0.1。效率值处于0.5以上所占比例为57%,可以看出目前我国杰出青年科学基金资助所产出的项目直接成果水平比较理想。(2)学部差异。在获得各项目相对效率值后,计算不同学部的项目直接成果平均效率值发现,化学科学部、工程与材料科学部、信息科学部、管理科学部的平均效率水平较高达0.7,地球科学部的平均效率水平最低为0.4,数理科学部与生命科学部的效率水平居中。剔除样本量很小的管理科学部,对于其他6个学部运用方差分析比较其间差异。Levene法方差齐性检验的显著性概率(Sig.)为0.712>0.05,满足方差齐的假设条件,说明6个学部的项目直接成果效率水平有显著差异。同时,对各学部项目直接成果效率值分布情况进行统计,统计各个学部效率值小于0.3和大于0.9的项目数,得到各个学部效率极值的分布情况。由图2可知,化学、工程与材料、信息科学部项目直接成果效率值小于0.3的较少,效率水平大于0.9的较多;数理、地球效率值小于0.3的较多,效率值大于0.9的较少;生命科学部两端分布都最多,差异化最大,但其受资助者也最多;管理科学部所有项目基本处于中等水平,只有少部分效率水平较高。由于各学科特点不同,发表文章、申请专利、获得奖项的难度不同,不同学科发表刊物的影响因子也不同,同时,科学家自身在学术水平与偏好上存在差异,从而导致不同学科在科研水平、研究产出方面存在显著差异。(3)区域差异。按照我国基本的区域划分,将我国大陆的省、自治区、直辖市划分为6个区域,即:华北、东北、华东、中南、西南、西北6个地区,并运用无投入的DEA方法计算各个区域的平均效率值。由图3可知,东北、西南地区的平均效率水平较高,华北、西北和中南地区的平均效率水平居中,华东地区的平均效率水平较低,同时方差分析结果显示,6个区域的项目直接成果水平没有显著差异。对各区域项目直接成果效率值分布情况进行统计发现:北京受资助者最多,效率值在0.3以下和0.9以上者均最多;上海受资助项目成果也较好,效率值大于0.9者较多,而江苏、山东、安徽的项目直接成果效率水平不理想,效率值小于0.3者较多,效率值大于0.9者较少;辽宁、湖北、湖南、四川、陕西等项目直接成果效率值低于0.3者少而高于0.9者多,总体资助效果较好。北京、上海、江苏等地由于经济发达使得人力资源大量积聚,研发活动较为活跃与有效,项目直接成果效率值大于0.9的较多,但由于大量高校和科研院所分布于此使得受资助者众多,各个受资助者在获得国家杰出青年科学基金后所得的支持差异化较大,导致项目直接成果效率值小于0.3的也最多。中南地区高校和科研院所较为集中,具有进行研发活动的基础和研发发展的空间,同时国家经济发展战略的转移和地方经济社会发展的前瞻性,决定了两湖研发活动的发展;四川、陕西、辽宁并没有受到地域上的限制,在所在地区拥有最丰富的人力资源和许多高新技术产业,形成了聚集人才的良好环境,同时高校数量较多,具有较好的发展基础,虽然基金获得者较少,但每名获得者得到的支持力度较大,获得的项目直接成果也较好。3.2.2个人发展的总体效率水平根据所建立评估指标体系,以个人发展的6项指标为输出,利用无投入的DEA方法计算个人发展相对效率水平值并按效率水平值进行频数统计,结果表明:个人发展效率值在0.8以上的占17%,在0.3~0.8之间的占43%,在0.3以下亦占将近40%,说明目前杰青基金资助所产出的个人发展成果较为理想。由于项目资助个人的发展要在项目成果不断被外界认同时,个人科研能力也才能逐渐被外界认同,需要经过一定时间周期才能完成。因此,个人发展的总体效率水平没有项目直接成果的效率水平高,但整体分布比较合理。计算各学部整体的平均效率值发现,除数理和管理科学部受资助个人发展平均效率水平较低外,其他5个学部个人发展的平均效率水平相差不大。通过方差分析对管理科学部外的6个学部进行分析发现,各学部个人发展效率水平均值没有显著差异。数理科学是自然科学的基础科学,其成果需要长期积累才能取得,个人发展也需要其科研成果不断带来的影响作支撑。而管理科学在我国的发展同国外很多国家相比较为落后,我国目前一直在追随国外管理学的发展,处于快速学习阶段。同时,计算各个区域的DEA平均效率值,结果表明,东北、中南的个人发展效率水平均值较低,华东、西南地区次之,华北、西北地区个人发展的均值效率水平较高。运用方差分析比较各个区域个人发展效率水平均值的差异,显示6个区域的的个人发展效率水平均值没有显著差异。华北、华东的个人发展水平较好,主要得益于其高校与科研院所较多,学术氛围较为活跃;北京、上海等地作为我国的中心城市,更容易吸引国外学者的到来与交流合作,通过不断的参与各种学术活动,与更多的学者交流,促进自身的发展。西北地区的个人发展状况相对较好,首先由于该地区基金获得者较少,他们获得的支持与资源人均占有量则相对较多,同时由于经济、科技较为落后,该地区的科技人才把获得杰出青年科学基金作为一种至高的荣誉,因此这些获得者更容易被重视,能获得更多的发展机会。3.2.3社会效益的平均效率以社会效益的四项指标为输出,利用无投入的DEA方法计算社会效益相对效率水平值并进行频数统计,结果表明,杰出青年基金资助成果中社会效益效率值分布较极端,高达74%的基金项目所产生的效率值处于0~0.1之间,相当于几乎没有任何社会效益产生,20%的效率值在0.8以上,差异化较为严重。社会效益的产生具有滞后的特点,一个应用基础研究项目的成果转化在生产中得到应用需要几年甚至更长时间的积累和推广,同时我国国家杰出青年科学基金资助成果与国民经济联系很少,能产生重大社会效益的则更少。这些原因使得杰出青年基金的社会效益水平较低。计算各学部整体的平均效率值发现,工程材料科学部的社会效益平均效率水平最高,而地球科学部的社会效益平均效率水平相对最低。运用方差分析比较除管理学部外的6个学部资助项目的社会效益,结果表明,其他6个学部的社会效益平均效率水平均值没有显著的差异。原因在于,工程与材料、化学的应用性较强,产生发明专利和发明专利的转让或实施较为容易,总量也最多,通过对生命科学中新兴领域的支持,其获得发明专利和专利转让或实施也较多;工程与材料、生命科学的成果更容易产生对国民经济发展产生重大影响的科技成果,获得国家的认可、奖励,对社会带来广泛的社会经济效益,应用性较强的信息科学、化学科学次之。按区域分类计算各个区域的DEA平均效率值结果表明,华北、华东、西南、西北地区的社会效益的平均效率水平要高于东北、中南地区。方差分析显示,各区域的社会效益水平不存在显著差异。华