科技项目验收评估管理与决策模型研究

1、科学学与科学技术管理科技政策与管理科技项目验收评估管理与决策模型研究华斌，何丽夫津财经大学理工学院，天津，300222)摘要：根据我国目前科技项目险收评估管理的特点和要求.讨论并建立了科技项目验收评估的指标体系，阐述了分阶段的科技项目验收评估方法,建立了基于C45决策树科技项目验收评估决策模型。关键词：科技项目:验收;评估：决策模型中图分类号：FC624文献标识码：A文章编号：100202412007)02-0033-032007.0235收稿日期：2006-11-24基金项目：天津科委科技攻关项目资助(06YraZGX05500)第一作者简介：华斌(196A.男.教授.硕士生导师,研究方向：

2、智能信息系统、项目管理。一、引言科技项目管理通常是指通过协调与科技项目相关的各种关系，有效利用科研人员、项目经费和设备材料等科技资源，促进科技项目目标实现的一项管理活动。科技活动是一种创造和创新的活动，在项目进度的推进、经费控制和项目质量的把关等方面都存在很大困难，建立和完善科学的科技项目验收评价指标体系能够更好地实现对科研活动的宏观控制和微观调节。我国科技项目管理的大部分工作目前还是由政府负责，科技项目的验收与评估基本上是借助于专家的知识和经验，缺少一套行之有效的验收评估指标体系和评估规则，对专家在科技项目评估中的地位和作用缺少具体的规定，使得专家在科技项目管理中的实际作用发挥得不够，项目验

3、收评估的过程规范和结果随意性较大,因此,为保障国家或地方科技经费的有效利用和合理分配，有必要建立一套科学的科技项目验收评估指标体系和基于该指标体系的科技项目评估模型。二、指标体系科技项目的验收评估是指检验与认定科技成果的科学性、创新性和科学价值，评价科研成果的质量、水平和效益，目前，常用的科技成果评估方法一般分为三大类：定性评估、定量评估以及定性与定量相结合的评估。定性评估主要依靠评估者的学识和经验对项目的科研成果做出判断；定量评估是根据事先建立的评价指标体系，按一定的程序和方法对每个科技项目成果给出定量结果的评估：而定性与定量相结合的评估是以上两种方法的有机结合，通常采用的是综合评估技术来实

4、现。综合评估是以定量为目标，将定性因素融合于评价指标体系当中,并按一定的方法和程序计算出定量结果的一种评估技术。科技项目的验收与评估是一个复杂的过程，单纯依靠某些专家的经验和领域知识很难获得一个公平、合理的、正确的评估结果,因此，本文在遵循系统性、科学性、客观性、独立性和可比性等指标体系建立原则的基础上，综合考虑了科技项目验收管理的复杂性，从定性和定量两个方法建立了科技项目验收指标体系ai)o表1科技项目验收评估指标体系一还完成情况橘式*力匹双3百11用&C和胃山h覆2汲表殳文1R况彳|经，使用情况1口而动“骨开工2糙笊开发刖3H他RHI柝A的比M1品麾相去2tnJ.XItAMM1的双

5、阳情IK2”金，产的能介倘及目前，我国科技项目的验收主要是从项目的完成质量、创新性、技术的可行性和实用性等方面来进行评估的。项目的完成质量与项目的经费使用情况直接相关，而项目的技术可行性和实用性很大程度上可以用项目预期可获得的社会经济效益来衡量。因此，本文将科技项目验收评估的一级指标分成：项目完成情况、创新水平、经费使用情况、文档资料提供情况和预期社会经济效益五个方面。其中，预期社会经济效益实际上是对项目成果应用的一个预测。在项目验收时，该项指标实际上是一个难以量化的值。但是，一个科技计划项目通常是与某个领域的应用相关，因此，这里讨论的预期社会经济效益主要考察评估项目在研究实施过程中与相关领域

6、的结合情况和阶段性科研成果在实际中的应用或实践情况。三、科技项目验收评估方法为了避免单纯地由专家评审所带来的种种问题,科技项目验收评估采用项目承担单位自评、专家评估和计算机系统自动决策相结合的方法。承担单位自评的主要任务是根据评估机构制定的评估标准、原则和指标体系，对申请验收评估的科技从项目执行完成情况、创新情况、项目经费使用情况、项目成果的应用情况以及预期的社会经济效益等方面进行评价，并提供相应的支撑材料和项目评估报告等。专家评估的主要任务是根据项目承担单位的自评报告和提供的材料以及评审专家所属领域的知识和经验，对表1所示的所有二级指标进行评估，并给出相应的指标值。为便于建立项目验收评估的自

7、动决策模型，由领域专家根据确定的指标值将所有的二级指标分成：好、一般、差三个等级，以方便下面决策模型的建立。计算机系统自动决策阶段是根据建立的自动决策模型和专家评估阶段获取的各个指标值，确定验收评估项目的最终完成等级,项目的完成等级也同样分成三类:好、一般和差。采用项目承担单位自评、专家评估和计算机系统自动决策相结合的科技项目验收评估方法，一方面能够充分发挥不同领域专家在相关领域的特长和经验,另一方面也避免了单纯地由专家评审所带来的一些不确定性问题，克服了传统项目评估过程中过分依赖专家的弊端。四、科技项目验收评估的决策模型文献OnR吩别提出了基于德尔菲法与层次分析法相结合的项目验收评估决策模型

8、c这种决策方法是根据专家的经验来确定相关指标对最终决策目标的影响，并根据不同指标对决策目标影响程度的大小来获取不同指标对决策目标的权重。但是，在权重确定过程中存在过分依赖专家经验的主观因素。随着科技项目经费投入的不断增多和信息技术的应用，目前大部分科技项目管理机构都建立了自己的科技项目验收管理系统，并建立了带有最终评估结果的科技项目验收数据库。囚此，完全可以将一些有效的知识发现方法应用到科技项目的验收评估管理中,本文根据决策树的决策过程和特点，提出了一种基于C45决策树的科技项目验收评估决策模型。1.C45决策树的构造算法C45决策树是JRQuhhn于1993年提出是一种基于示例学习的方法,该

9、决策树根据信息增益率的大小来选择属性,并且能够完成对连续属性的离散化处理，在科技项目的验收评估管理中，假设根据项目承担单位的自评结果和专家评审结果，最终要将每个待评项目分成好、一般和差三个等级，在C45决策树中将这三个等级分别用类别名P、M、N表示，并用PSMSNS分别表示对应实例集，用PS、MS、NS和PS'、MS'、NS'分别表示决策树构造过程中PSMSNSC45决策树的生成算法可以描述为以下几个步骤：根据确定的实例集合,计算每个属性的信息增益率。（2）选择信息增益率最大的属性A、。把属性4值相同的实例归入同一个子集中，并根据取值的不同来构造不同的子集。(4)对包含

10、不同属性值的子集递归调用决策树生成算法，对只包含某个特征值的子集，在其对应的分支上表示相应的类别名，并返回调用处。2科技项目验收评估的决策树模型根据表I所给的评价指标，科技项目验收评估过程中所有一级指标的值均依赖于其对应的各个二级指标的值。因此，将科技项目验收评估决策过程分成两个运行阶段：一级指标值的确定阶段和科技项目最终评定等级的确定阶段。两阶段运行的决策模型，不仅可以降低决策树生成过程中剪枝所带来的时间开销，也便于决策规则的提取和简化。另外，第一个运行阶段获取的每个一级指标值对科技项目管理中的后期跟踪和综合统计分析具有重要意义。根据决策支持系统的两个运行阶段，决策模型的建立过程也分两个阶段

11、：第一个阶段根据每个一级指标与二级指标之间的对应关系，建立以二级指标为属性相应的训练数据集，并构造决策树和提取包含在决策树中的有用规则：第二个阶段根据第一个阶段生成的决策模型的运行结果，建立以一级指标为实例属性的训练数据集，并构造对应的决策树和提取规则，下面以第二个阶段为例，阐述确定科技项目验收评估等级的决策树建立过程，训练数据如表2所示。表2以一级指标为属性的训练集HM性WttAN“H完虚情况制新*T4Hm使用情况inwir供情况hiwnr茶1PTMMMM2MMPPNM3MNPPNN4PMPfPP5PMMPMM6PNMMNN7MMPPPPRMMFNM9NNMMNN属性V的信息增益率计算公式定

12、义为:gaiir-ratio(V)=gainV)41(V)其中，H(V)表示属性V的信息烯.gain”)表示属性V的信息增益。运用表2中的数据应用信息增益率计算公式获得了表3所示的五个不同属性的信息增益率。表3各个决策属性的信息增益率项目完成情况创新水平项H经费使刖情况文精集收理供情况修网社会经济收益0.1540.3430.0590.0730.549根据C45决策树的构造算法和各个属性的信息增益率，得到图2所示的科技项目验收决策模型：好*H反目图2科技项目验收评估的决策树模型从图2中可以抽取能够存储于知识库的科技项目验收评估的规则，由于篇幅关系，有关规则的提取这里不再赘述。五、结语验收评估是对

13、科技项目的完成情况进行有效跟踪和管理的一个重要环节，是科技经费合理使用的重要保证，也是国家或地方进行科技经费宏观调控和合理分配的重要依据。随着国家科技经费投入的不断增大和科技项目数量的不断增多，传统的单纯依靠专家评估的项目验收评估管理方法存在的问题将会越来越明显。本文根据科技项目验收评估管理的任务和特点，使用定性和定量分析相结合的方法，建立了科技项目验收评估管理的指标体系，并在其基础上提出了基于C45决策树的科技项目验收评估管理的决策模型。该模型能够在专家评估的基础上，对每个科技项目各个一级指标值和项目最终的完成质量进行科学的评价，克服了传统的科技项目验收评估管理中过分依赖专家的问题。参考文献

14、如胡建江，倪霖科研项目管理中的管理模式与评价模型.石油天然气学报.200S2700吴显英.区域技术创新能力评价中的因子分析.哈尔滨工程大学学报.2003240B黄亚明，何钦成科技成果评估中的常用方法.中华医学科研管理杂志.2004170K畦姐/197F、科技政策与管理科学学与科学技术管理产学研合作机制。三是制定大学技术转移促进法。政府应进一步完善促进产学研合作的制度环境，要制定大学技术转移法，规范大学技术转移管理，为大学与企业的合作研究创造良好的政策环境，激励大学与企业的创新合作。参考文献0日本科学技术政黄研究所.科学技术政策报告国日本内阁府.2003a日本科技厅.日本科学技术振兴年度报告国各

15、年版国中国驻日本使馆教育组,日本大学的产学研合作m中国高等教育，2001（7）：417团谢开勇国外高校产学研合作模式分析m中国科技论坛.2004CD：I19-I22司厉建欣.日本高校的产学研合作及启示m临沂师范学院学报，2006（1）：110-112司朱丽兰主编.海外技术创新参考读本新华出版社，200Q团刘力.政府在产学研合作中的作用透视田教育发展研究，2002：70-73B张锁柱加速科技产业化的有效途径日本的产学研协作初探见日本学刊.2001（2）：65-77质任编辑殷得民）#2007.02StudyonJapaneseEnterprise-AcadcniyCollaborativeRese

16、archSystemUsingEnterprisesasInnovationManiBodyLIUYanNationalResearchCentreofScienceandTechnokyforDevebpnentBeijing100036China)AbstractEnteiprise-AcadanyCollaborativeResearchSystemisanmportantoiganizingmethodfortechnofogyinnovatkninJapanSince1950sJapanhasbeenpayingmuchanphasisonEnteiprise-AcadanyColl

17、aborativeResearchpartnershipwhichhasbeenreceivniggieatgovenmentalsupport.Thisarticlefirstbeginswiththereasonsanddevelopmentof'Co-opeiativeResearch*and'EntiustedReseaicKsystansItthenstudiesonthecharactersofparticipationofJapaneseenterprisesinthesevosystmistheirmplanentationstructurethedistrib

18、utionofinvolvingacadanicoiganizationsandtheprobkmofDPRbelongingandsoon.OnthebasisofanalyzingtheknewledgeanddemandofinnovationinthefieldofJapaneseEnterprisestheauthorfinallybringsIbiwaidstheinspirationstoChinafirmEnteiprise-AcadcmyCollaborativeResearchSystaninJapanKeywordstechnobgyinnovationEnteiprise-AcadonyCollaborativeResearchSystemcollaborativeresearch化接第35页）口江永真福建省科技计划评估体系研究.科学学与科学技术管理，2002田刘莹言，程际明，杜润秋，孙伟.专家系统技术在科研项目管理中的应用,航空制