科研项目立项质量评价的先定性后定量评价

科研项目立项质量评价的先定性后定量评价

科研项目的项目考试和融资通常由各级政府部门进行。例如，教育部、科学技术部、自然理性教育部、省、部、教育部和教育部发布的各种科研项目包括医学项目的项目标准，许多医学、医疗和科学研究院也设立了自己的科研项目基金。本文以医学科研项目立项为例说明。目前我国的科研项目的立项评审主要依靠人(同行专家)的评审,这其中难免有人为主观因素的干扰,并不利于体现科研项目立项工作的公平、公正性。如何科学合理地评价一个申请立项项目的质量,尽量避免人为因素的干扰,更好地体现立项资助工作的公开、公平性,目前尚无一套可行的方法。科技活动的定量评价离不开同行专家的定性评价,但定性评价不能替代定量评价。目前国际上比较常用的科技评价常常是结合了定性评价与定量评价的优势,可以更好地体现科技评价的科学性和公正性。笔者从科研管理工作实际出发,针对以上问题,提出一套定性与定量评价相结合的评价模式,并进行一定的模拟计算。1医学项目论文评估指标的筛选1.1职业技术专业的验证项目申请时,对该项目负责人及其研究成员实力的评价很重要,通过评价可以了解该科研团队是否能胜任研究任务等情况。一个典型的医学研究项目常常涉及到临床诊疗、护理,药物制备、处方药使用等方面。我国《执业医师法》、《护士法》、《执业药师法》等均要求医生、护士、药师取得相应的执业资格证书才能上岗,没有取得医师执业资格证的医生不能从事诊疗工作,更不能给患者开处方药,因此,项目负责人及其成员必需具备相应的执业资格,否则其实验研究就可能触犯有关法规,出现非法行医、非法研究的情况。同时,在从业资格审查上还应重视对项目研究人员职称学历的评价,以评估其整体的科研实力。具体如表1所示。在运用指标进行专业职称评价时,临床科研项目应主要评价医师的权重;同样的,护理科研项目和药物研究项目也应相应评价其护师、药师的实力情况。与研究项目所属学科不符的专业人员,其权重可以相同,但是等级应有区别,例如非医学类专业人员申报医学类科研项目的,以及非医学类专业人员参与医学类科研项目的,或尚未取得医类相关职称学历的人员。在专业职称评价完毕后,各成员的学历学位情况作为辅助评价,其权重应有所区别,学历学位得分情况最后加入专业职称评价得分中进行处理。1.2核心期刊的认定具有良好前期研究成果的项目,在立项评审时往往具有优势,立项成功率高。前期成果好,说明项目研究基础扎实,可行性高,项目组完成科研项目能力强,项目研究出成果的成功率大。项目前期成果主要是论文,且只要该论文获得相关期刊录取通知即应纳入评价范围;而专利、新药、专著等成果其形成周期很长,一般在项目开展后期产生,因此一般不需将其纳入评价范围。但是项目前期成果之一的论文必须与该项目密切相关,否则事先剔除不纳入评价范围。如项目前期成果确有其他类别的,可参照论文的评价方式进行。根据核心期刊认定有关规定,医学类的论文发表的期刊在国内可分为中文核心期刊和中国科技核心期刊中的医学部分;外文论文一般审核其是否被SCI、Medicine收录。一般地,SCI、Medicine发表要求高、发表难,但发表可以产生一定的国际影响力,其权重应远高于国内核心期刊。国内核心期刊根据收录比例,中文核心期刊通常比中国科技核心期刊收录更少的医学期刊,但对于一种期刊同时被两个核心期刊目录都收录的情况,以中文核心期刊为最高标准核算。在评价论文价值时,应充分考虑到所发表期刊的最新影响因子。具体分类如表2所示。项目前期成果是否为项目负责人为第一署名作者应有区别。项目负责人将其他成员的成果纳入项目前期成果进行申报的,其与项目负责人直接取得的成果应有区别,即在评价时,非项目负责人为第一署名的前期成果评价权重应有所降低。1.3查新机构的查新报告一个科研项目必需具有较高的创新度,这是体现其价值的重要指标之一。创新度不够,就是雷同研究,就会造成科研经费与人力资源的巨大浪费。项目创新程度如何,常用的方法就是依据专业查新机构的查新报告,例如各类经教育部、卫生部批准授权的查新点,如医学情报研究所、科技情报所等,一些有实力的高校图书馆也具备查新资质。具有资质的查新机构提供的查新报告是评价该项目是否具有继续研究价值的重要依据。实际上项目立项前查新并不是普遍的做法,很多国家级的项目发布资助单位也没有明确要求项目申请人提供查新报告,但四川省卫生厅每年对科研项目则要求提供专业查新机构提供的查新报告,这种做法值得推广。项目查新结果根据查新范围,一般主要针对范围是国际和国内,即检查国际、国内是否有相同或类似文献,并给出新颖性情报评价。由于查新机构提供的查新总结语较为简单,一般也不提供定性的查新结果,因此评价时应重点参考其提供的相似文献条目数。对限定查新范围内的查新报告,根据查新报告中所列出的同类相似文献数量进行评判,例如相似文献小于5篇者列为明显创新,5—20篇者列为一般创新,大于20篇可计无创新。在具体评价时,也可将此分级进行更多的细化处理。对于查新时有文献出现相同理论、方法的,查新总结时均会概括说明,此时也不必再根据相似文献条数进行评价,直接评定为无创新。具体如表3所示。1.4项目申请设计的合理性项目申请书内容的评价主要是针对研究设计的合理性、项目研发可行性分析、项目经费预算的合理性等。由于这部分的评价较难用可靠的方法进行定量评价,其评价主要依赖有关专家的人工评价来完成,其中对项目经费的评价应由精通财务和市场的专业人员完成。而人工评价难免有人为主观因素的干扰,因此为避免人为因素影响,这部分指标的权重应降低。如果立项资助单位对所选取的专家有足够的信心,这部分的权重可以适当提高。研究设计的合理性主要是研究各个步骤及相应的时间安排是否合理、研究周期是否超过申报限制等。研发的可行性,就是评价项目内容在当前科技水平、技术、设备的条件下是否可以完成。项目经费预算的合理性,即检查各种开支报价的合理性,以及申请经费是否超过资助标准等。如表4所示。通常,医学科研人员对市场、经济以及新型医疗设备的掌握了解不足,项目申请设计难免会出现一些不合理的地方,这种问题应该在项目申请书撰写阶段逐步完善,各推荐单位也应组织上报前的初审工作,通过这些措施以消除申请书上的不合理之处。在进入实质立项评审时,对有轻微不合理设计的申请书,也不应以一概全地轻易否定。2评估方法和理论2.1加总复归并进行组合的方法,求解线性关系的组合加权平均法(WeightedAverage)是将各数值乘以相应的单位数,然后加总求和得到总体值,再除以总的单位数的方法,是对多种评价方法得出的标化综合评价值进行组合的方法。组合过程中根据各种方法评估结果的优劣赋以相应的权重系数,然后采用加权平均法得出组合后的综合评价值。2.2专家绩效评价同行专家评议(PeerExpertEvaluation)主要用于某种指标分数的同行专家评议,利用专家打分,然后经过一系列统计学处理、检验后确定具体的值。同行专家评议目前运用广泛,如国家自然基金评议等。专家评议可以将一些抽象的、难以用统一标准表示的概念数字化,使评价内容能够较直观地表现出来,而在一定程度上保证结果的权威性、科学性。在本文中,主要是用于一些重要指标权重的确定。2.3期刊质量评价的差异由于科学研究领域的大小、研究人员数量和读者群的不同,各学科期刊的影响因子是不同的;即使是同一学科,各分支学科的大小不同,其影响因子值也存在差异。这种局面在期刊质量评价中表现出越来越多的不足。为此,泰国学者N.Sombatsompop等人提出了影响因子分数平均值(ImpactFactorPointAverage,IFPA)的概念,其计算公式为:IFPA=(Iα/IA)(1-R/(N+1))n。其中Iα为某刊的影响因子,IA为某刊在本学科的影响因子排序,R为某刊在本学科的影响因子排序,N为某学科期刊总数,n为某人发表论文总数。2.4[1-r]贡献法(ContributeMethod)以Ck表示。Ck为第k项目参与者的贡献率,公式为:Ck=2Ν×[1-RΝ+1]。其中,N为参与者总数,R为被评者在该项目中的排序(即第几参与者)。贡献法主要用于较大项目中主要参与者贡献的分配评价,可以较为准确地评估各个合作者的贡献大小,并辅助其他方法将贡献的抽象意义转化为分值。本文提出的定量评价模式即基于上述成熟的评价方法进行设计。3定量评估方法的提出3.1计算得分的确定Rh=m∑i=1Κhj×12n-1(h=1,2,3L,n)(1)其中Rh为某个指标的计算得分,Khj为h指标第j个等级量的权重,n为某个指标下某个项目的权重等级。3.2合理筛选研发成员项目的课题负责人资历应占有重要比重,同时计算公式还需要避免因为成员的增多而使计算积分增加。在单项指标计算的基本公式(1)中引入贡献法及人员资历计算法可较好解决这一矛盾:研发成员多的,排在后面的人员积分贡献会越来越少,而研发人员较少也会略微影响总体的积分。因此,项目负责人会挑选适当的研发成员,将其数量控制在适度范围内。当然,对项目将产生重要贡献的成员排名应靠前。项目研发人员资历计算公式如下:Rh=m∑i=1ΚhjCk×12n-1=m∑i=1Κhj×12n-1×2Ν×[1-RΝ+1](h=1,2,3L,n)(2)3.3总论文1-1论文的得分需要加入平均影响因子法计算及贡献法。论文发表的期刊皆有自己的影响因子数值,可以通过评价单位出版的相关工具书查询获得,例如中信所每年出版的《中国科技期刊印证报告(核心版)》等。论文指标的计算公式为:Ri=(m∑i=1ΚhjCk+m∑i=1ΚhjΙFΡA)12n-1=[m∑i=1Κhj2Ν1(1-R1(Ν1+1))+m∑i=1ΚhjΙαΙA(1-R2(Ν2+1)]12n-1(i=1,2,3L,n)(3)其中,N1、R1为贡献法变量,N2、R2为平均影响因子公式中的变量。公式使用方法:每个指标下属项目单独计算后累加,例如论文指标,将论文A、论文B、论文C……单独套入公式计算后得分累加为论文这项指标的总分。其余指标的计算依此类推。3.4新指标的计算公式如下所示查新指标的计算公式采用原公式(1)即可。需要特别注意的是,对同时进行国际、国内查新的项目,应根据计算结果,采用其最高积分。3.5评价时的影响申请书内容的评价主要是专家先定性评价再定量评价。为了尽量避免人为主观因素的干扰,该部分权重较之其他指标要低。具体评价时又涉及内容设计合理性、研究可行性及经费预算等三个方面,为了不使这三个方面累计太多而对总分造成影响,因此应取其平均值以计算。其计算公式为:Rh=m∑i=1Κhj×13×2n-1(h=1,2,3L,n)(4)如专家选取较为严格,立项单位对专家评议有足够信心,也可不将此部分计算结果取平均值,以增强专家评议的比值。4定性评价模型的实践应用4.1顽充贴项目单位间以申报项目《顽癣贴治疗神经性皮炎的临床研究》(简称顽癣贴项目)为例,该项目负责人1名,项目成员5名,且均为医学类职称和学历。如表5、表6所示。就顽癣贴项目同时对国际、国内查新,国际查新相似文献为9条,国内查新相似文献为4条,查新结果摘要为:“国内(国际)有少量类似研究,但该项目所采用的方法和技术尚无文献提出,具有一定的创新性。”根据查新结果即检索文献条数,该项目国际创新程度为“一般”,国内创新程度为“明显”。4.2对模型的科技常识为便于展示评价公式的运用方法,笔者根据相关的科技常识提出各项指标的模拟权重,建立相应的指标权重对照表,如表7至表10所示。对该项目申请书内容的评价,我们将其设定为“合理”。4.3湿装饰项目质量评价4.3.1个26[1-32+1]+2032242426[1-32+1]+2.323226262626262626262626262626262626323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232262626262626262632323232323232323232323232323232323232323232323232323232323232262626323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232用公式(2)计算,职称与学历分别计算,权重与等级参照表7进行。R职称=30×121-1×26×[1-16+1]+30×121-1×26×[1-26+1]+30×122-1×26×[1-36+1]+30×122-1×26×[1-46+1]+30×123-1×26×[1-56+1]+30×123-1×26×[1-66+1]=1950/84R学历=20×123-1×26×[1-16+1]+20×122-1×26×[1-26+1]+20×121-1×26×[1-36+1]+20×122-1×26×[1-46+1]+20×122-1×26×[1-56+1]+20×122-1×26×[1-66+1]=860/84R资历=R职称+R学历=(1950+860)/84=1405/424.3.2rsci+r的计算顽癣贴项目前期成果涉及的三篇论文的计算,采用公式(3)进行。由于前期成果论文的发表者主要是项目负责人、成员1和成员2,共3人,因此贡献法计算中的N=3。RSCi=60×23×[1-1(3+1)]×121-1+60×2.6637×[1-37(409+1)]×121-1=23.9R中文核心=30×23×[1-1(3+1)]×121-1+30×0.556×[1-6(128+1)]×121-1=17.6R统计源=30×23×[1-1(3+1)]×122-1+30×0.2220×[1-20(128+1)]×122-1=5.1R论文=RSCi+R中文核心+R统计源=23.9+17.6+5.1=46.64.3.3查新者为2119-1采用公式(1)进行:R国际查新=80×122-1=40R国内查新=60×121-1=60因国内查新得分大于国际查新得分,故以国内查新为准,R查新=R国内查新=60。4.3.4可行性及经费预算一般采用公式(4)进行。设该申请书内容设计为合理,n=1;可行性为一般,n=2;经费预算一般,n=2。则有:R内容=20×13×21-1+20×13×22-1+20×13×22-1=4034.3.5评估整体成本的计算计算得出顽癣贴项目立项评价总分:R顽癣贴项目=R资历+R论文+R查新+R内容=153.4。5处理评估结果的方法5.1核心期刊和东南角区域有比较才有鉴别,单一的一个项目立项评分不容易评价其优劣,也不能使评价模式产生实用价值,因此,单个的项目立项得分需要放在众多的项目得分中进行比较。为确定一批申请立项项目的质量是否合格或优秀,笔者引用布拉德福定律来解决这一问题。布拉德福在其专著《Documentation》中提出了定量描述文献分布的经验定律:如果将科技期刊按递减顺序排列则可分出一个核心区和相继的几个区域,每区刊载的论文量相等,此时核心期刊和相继区域期刊数呈l:α:α2的关系。该定律已不仅仅是用在期刊领域,在其他领域的评价中也多有运用,且效果良好。运用举例:某省卫生厅计划2011年度立项200项科研项目,并对其中最优秀的50个项目列为重点项目进行资助,其余150项则列为一般项目。2011年该省各个单位共向省卫生厅报送1866份申请,卫生厅初审筛选后排除129份非医学类的科研项目,最后参与立项评价的科研项目总数为1737份。拉德福认为期刊核心区域分布规律为l:α:α2,并将α赋值为5。我们借用原版数值,认为1737份标书的优秀项目分布规律为1:5:25,即优秀项目排名应该在前11+5+25×1737名,对计算结果取整得56,即核心项目集中在前56项中,或称重点项目。此外,还可以根据申报项目的总数情况,将α赋值范围适当降低或提高,其取值范围可以在2～10之间。换言之,申请项目越少,α值越低;反之α值越高。这样做的目的是利