高校科技领域综合性评价研究-从数量评价和质量评价谈起

1、    高校科技领域综合性评价研究从数量评价和质量评价谈起    摘要：高校科技评价是高校科技管理工作的重要内容之一，也是高校科技管理研究领域的热点和难点问题。高校科技评价涉及内容广泛，评价目的、对象和方法众多。对于学校总体科研绩效或科技活动质量水平的全面评价，即“综合性评价”，主要采用综合指标体系等多种方法。综合指标体系评价方法的核心内涵与实质是定量和定性评价相结合，是数量和质量评价相结合。关键词：高校，科技领域，综合评价，数量和质量，评价方法基金项目：全国教育科学“十二五”规划2012年度教育部重点课题“高校科技活动质量评价指标体系及质量标准研究”(

2、dia120285)1 研究背景高校科技评价是高校科技管理工作的重要内容之一，也是高校科技管理研究领域的热点和难点问题。高校科技评价涉及内容非常广泛，评价目的、对象和方法众多。从评价对象来看，主要包括科研人员个人工作绩效评价(例如年度考核、职称评价等)、科研项目评价(例如立项评估、中期评估和结题验收评价等)、科技成果质量评价、人才评价、学科评价、科研基地评价、学校整体科研绩效或科技活动质量水平的评价等。从评价类型来看，针对不同评价对象和评价目的可以分为两大类型，例如，对于合同性“横向”科研项目的相关评价(如项目执行过程中的阶段性评价、成果和产品的质量评价或验收等等)，我们在这里称之为“合同性评

3、价”或“分散性评价”或“单项评价”，这类评价一般采用同行专家专业性评估或质量检测等方法。相对而言，对于学校总体科研绩效或科技活动质量水平的全面评价，我们在这里称之为“综合性评价”，主要采用综合指标体系等多种方法进行评价。在高校科技评价研究领域，目前面临的难点问题主要有(1)分类评价问题。即针对不同定位、不同性质和不同特色高校的分类评价问题，例如，研究型大学、研究教学型大学、教学型大学、综合性大学、理工农医等特色型大学如何分类评价的问题；针对不同学科门类和研究特点的分类评价问题，例如，自然科学和人文社科、基础性研究和应用性研究、传统学科和新兴学科及交叉学科等如何分类评价的问题；针对不同岗位、不同

4、层次科研人员的分类评价问题等。(2)评价方法问题。例如，采取什么评价模型和评价标准进行评价的问题；对内涵丰富的高校科技活动如何进行数量和质量评价；如何将定性和定量评价方法科学合理地运用到高校科技领域综合评价中也是需要解决的问题之一。(3)效益评价问题。例如，科研工作及科技成果的社会经济效益和人才培养效益评价问题；科技成果的显性效益和潜在效益、短期效益和长远效益评价等问题。(4)个人和团队评价的问题。目前的高校科技评价中，比较注重对团队核心成员的评价，相对忽视对团队其他成员的评价，即，忽视了团队一般成员所做出的努力，这将直接影响到队伍的整体凝聚力，使团队效应难以充分发挥。(5)科技管理的评价问题

5、。如果把高校科技工作从管理主体和管理客体角度划分为科技管理工作和科研活动(或科研工作)两大类。目前的高校科技评价比较注重对后者，即对科研工作绩效的评价，而相对忽视对前者，即对科技管理工作的评价。这主要是因为科技管理工作涉及战略、政策、规划、组织、体制、机制、服务等内容，对相关水平和效益的直接评价具有很大的难度，因此相关研究还很少见到。但我们可以通过对管理对象(或管理客体)，即科研工作的评价来间接实现，换句话说，我们可以把二者的关系看做是教练和运动员的关系，即对教练的评价可以通过对运动员的评价来间接地实现。由于科技评价领域研究主题的广泛性和复杂性，目前已有很多学者开展了相关专题的深入研究和探索，

6、也取得了丰硕的成果，呈现出“百花齐放，百家争鸣”的景象。但是，要全面系统地解决好上述一系列难点问题还有许多工作要做，也需要政府和学界的宽容和支持，有些问题，例如对高校的总体性科技评价模式和评价标准等问题，更需要纳入国家层面，作为一项系统工程来解决。本文将主要围绕前述我们称之为“综合性评价”中有关数量评价和质量评价相关问题进行进一步探索。2 问题提出在科技评价中，任何评价对象都包含数量和质量两种属性，数量反映评价对象的规模情况，质量反映评价对象的相关内涵和特性，二者反映评价对象不同方面的内涵和性质。一般来说，对评价对象的评价不仅要了解其数量情况，还必须了解其质量特性。相对而言，评价对象的数量情况

7、更容易把握和评价，对数量特性的评价一般采用定量评价的方法；而质量特性却更难把握和准确评价，对质量特性的评价一般采用定性评价方法或者定性定量相结合的评价方法。定性和定量评价方法是科技评价的基本方法，在科技评价实践中，往往根据评价工作的不同目的和要求而选择不同的方法。在展开论述之前，我们有必要首先对定量评价和定性评价的内涵进行简要说明。(1)定量评价方法。定量评价离不开定量评价指标，定量指标是可以准确用数量定义、能精确衡量并能设定绩效目标的考核指标。例如，“教授人数”“国家发明专利数”等。定量评价方法是通过数学计算得出评价结论的方法。教育部部长袁贵仁多次强调，要制定国家教育质量标准，建立健全适应不

8、同类型教育特点和规律、可衡量、有针对性的教育质量标准体系。这里的“可衡量”就是体现在“定量”评价方法上，实际上也强调了评价的“可衡量”性。(2)定性评价方法。定性评价离不开定性评价指标，定性指标相对于定量指标而言是指无法直接通过数据计算分析的评价指标，是需要对评价对象使用文字描述来阐述评价结果的指标。原则上讲不能直接定量衡量的指标就可以看作是定性指标。这种指标的评价标准往往采用“是”或“否”，“很好”“较好”“一般”“较差”等各类文字形式进行判断和评价。例如，科研选题和科研成果的前沿性、先进性、独创性、不确定性和预见性等的程度；科研课题或科技成果具有的科学意义；科技工作声誉、科技素养水平、科技

9、体制机制和科技政策水平、科技管理和服务水平、成果的潜在经济效益和应用前景、科技产品的市场地位和影响力、学术氛围、严谨治学、敬业爱生、学术影响力、社会责任感等的程度；教学工作态度等。由于定性评价方法无法像定量评价方法那样对评价对象精确地加以衡量和考核，因此在很多评价活动中，对定性指标的考核往往是凭借评价主体的主观印象和经验，容易导致评价结果出现偏差，不容易做到客观和准确，特别是对包括多级指标的综合性评价活动，如对高校综合科研绩效等的评价，更不宜采用定性评价方法。换句话说，定性评价方法不采用数字计量方式，不能精确衡量评价对象的内涵特性，而是根据定性评价标准、案例材料与文字说明或现场考察等，由专家评

10、估小组进行定性评价和等级评定并使用描述性的综合评价意见等阐述评价结果的方法。某些在科技评价中无法或无须直接定量衡量的指标，一般可以采用定性评价的方法进行评价。根据定性评价方法的特点，在高校科技领域综合性评价研究中，由于评价对象和内容的高度复杂性和多元化，如果完全采用同行专家定性评价方法，即，将诸如高校总体科研绩效评价等科技领域综合性评价工作完全交给专家，依靠专家的主观判断和经验性评价等方法进行定性评价，很难做到评估的全面准确。换句话说，仅靠定性性质的同行专家个人判断和文字描述性的评议意见等来决定学校综合科技发展情况的优劣是不全面也不合理的，还必须采用定性和定量相结合的评价方法来实现，定性和定量

11、相结合的评价方法最典型的应用类型或代表，就是综合指标体系评价方法。目前，综合指标体系评价方法在科技评价领域已经运用到了很多研究对象中，例如，高校科技创新能力评价、高校科技竞争力评价、高校科研绩效评价等，但是，由于这种评价方法与指标数量紧密结合，因而往往被担忧甚至误解为“量化”评价的典型而广受诟病，政府管理部门及学界往往会“抨击”综合指标体系评价结果及大学排行相关研究等“是用数字拼凑的评价工作构架”，“是简单的量化评价方法”，“不是专家的人也可以进行的评价工作”等等，从而导致各高校非常抵触诸如大学综合指标排行和相关评价研究，这也在一定程度上阻碍了综合指标体系评价方法在高校科技领域综合评价研究中的

12、应用。那么，综合指标体系方法究竟是不是量化评价方法？高校科技领域综合评价中能不能采用综合指标体系评价方法？这正是本文希望阐明的问题和内容。如前所述，综合指标体系评价方法是一种定性定量相结合的评价方法，它本身也是一种科学的、基本的评价方法。实际上从表面上看，综合指标体系评价方法与各指标数量紧密结合，似乎是在使用各种指标统计数据“说话”，其评价标准也会以量化形式体现这就很容易让人产生“量化评价”的主观印象，但我们并不能由此说明这种评价方法只是“定量评价”方法，也不能一概认为它就是一种“数量评价”方法。事实上，如果我们抛开其外在的量化形式，深入探究其内涵和实质，则不难看出，综合指标体系评价方法中更为

13、核心的内涵和实质其实正是定量和定性评价相结合，是数量和质量评价相结合。目前，关键问题是要设计出科学、严密、合理的综合指标体系和评价标准，一旦从国家层面制定和颁布了统一的、适合不同类型高校的、真正科学合理的综合指标体系和评价标准，高校科技领域综合性评价工作才可能得以实施，而且一旦实施，必将有利于高校的自我认识、自我完善，同时，对于政府和社会对高校的监督考核、资源分配以及大学报考等都具有重要意义和参考价值。鉴于目前政府和学界存在的、相对广泛的对综合指标体系评价方法中量化特性及评价结果的担忧，我们有必要进一步阐明该方法中定性和定量评价、数量和质量评价相结合的特性和内涵，以促进高校科技领域综合性评价及

14、排行研究工作的正常开展。3 问题分析如前所述，在高校科技领域综合性评价(如高校科研绩效、高校科技创新能力等综合性评价)中，往往是既要了解评价对象的数量情况，也要评价它的质量特性。定量和定性相结合、数量和质量相结合的评价方法最典型的应用类型就是综合指标体系评价方法，换句话说，综合指标体系就是定性和定量、数量和质量相结合的评价方法，这是因为在综合指标体系中，实际上每个选定的指标都既包含数量属性又包含质量属性，下面我们将以高校科技领域综合评价的常用指标来加以分析和说明。例如，“国家最高科学技术奖励数”这个评价指标虽然是以量化的数字来体现的，但其中也包含了质量属性，即通过各级各类专业性权威评审程序认定

15、的奖励等级“国家”级和“最高”级，因此可以说这个指标既体现出质量属性，也体现出数量属性。同样，“发明专利数”指标虽然是以量化的数字体现，但其中也包含质量属性，即发明专利都是经过国家有关专利管理部门通过查新和专家评估等程序认定的。又如，“发表论文”指标的质量内涵可以用sci论文、核心期刊论文、省部级学术期刊论文等不同等级的论文属性来区分和体现，换句话说，“发表论文”这个指标包含对不同等级期刊论文的定性判断在里面，因此不可能只把它看作是定量指标。“论文被引用次数”指标更不能仅仅看作是一个量化的指标，其中更体现出同行作者的定性判断在里面，因为只有被同行作者认可的观点才可能被其引用在自己的文章中，因此

16、这个指标既是数量指标也是质量指标。“科技成果鉴定数”指标的质量内涵可以用“国际水平成果”“国内首创成果”“国内先进成果”等属性来区分和体现。“科技机构数”这一指标，既有数量内涵，又有质量内涵，其质量内涵可以用“国家级科技机构”“省部级科技机构”等属性来区分和体现。“国家级科技奖励数”“省部级科技奖励数”等指标的质量内涵更加明显，因为不管什么级别的科技奖励，都是通过各级各类专业性权威专家的集体认定和严格的评审程序等，经过定量或定性评价方法等综合判断而认定的，其中本身就已包含了对全部质量内涵和特性的评价，已经不可能只把它们看作是“数量”指标或量化指标了。另外，在对科技成果社会效益的评价方面，我们往

17、往遴选相关指标来实现，例如，发明专利实施数、技术转让(含专利转让)合同数、技术转让(含专利转让)合同金额等指标，分析这些指标的内涵，其实也已经包含了质量特性和内涵在里面。例如，科技成果的质量越高，说明其“含金量”越高，其转让的金额也必然越高，而且，一项成熟的技术能够得以向社会和企业转让，就已经证明是经过企业或专业技术领域的专家定性或定量评价及经验判断的成果，因此，也可以说，这些评价指标不光是评价数量情况，同时已经包含对质量特性的评价了。从另一方面看，在综合评价指标体系的设计过程中也包含了大量“定性”的判断、考虑、取舍、设计和研究思路等在其中。例如，评价指标的遴选、各类指标的分级设计、基础性指标和标志性指标的安排、各级指标权重的分配与赋值以及指标体系的整体设计等，本身就已经包含大量“定性”性质的判断和选择。由此可见，综合指标体系评价方法实际上并不是靠简单的数量“堆砌”进行评价的方法，它是定量和定性相结合、数量和质量相结合的综合评价方法，也是需要在充分和全面了解高校科技工作要素、结构、体制和机制等基础上才能完成的一项系统和复杂的评价工作手段，这其中的关键问题还在于指标体系设计的全面性和科学合理性，还在于如何处理好定量评价和定性评价、数量评价和质量评价的关系，而不能只是关注