研究生教育质量效率评价指标体系的构建

研究生教育质量效率评价指标体系的构建

研究生教育作为国家最高教育，承担着培养高级创新人才和发展现代科技的任务。这是实施一国创新体系的重要组成部分。党的十八大报告提出到2020年要努力实现创新人才培养水平的明显提高,这为提升我国研究生教育质量水平提出了新要求,是转变当前研究生培养和教育模式面临最为迫切的问题。因此,把握当前我国研究生教育质量的实际,才能有的放矢。当前,建立一套科学的研究生教育质量评价指标体系和方法,已成为提升我国研究生教育质量亟需解决的重要任务之一。它对在现阶段我国教育资源稀缺有限的现实国情下引导和促进研究生教育朝着高效率、高质量、适合创新性要求发展有着重要的现实意义。一、从研究方法上看,各有侧重、分层次地研究研究生教育质量目前对研究生教育质量评价指标体系和方法的研究文献尚不多,归结起来主要有:石磊从办学条件资源条件、人才培养和科研产出、声誉和影响力三个方面着手按照学科门类不同构建了包含32项指标的研究生教育质量评价指标体系;周正嵩、孙月娟基于SERVQUAL模型构建了包含29个指标的研究生教育质量评价指标体系,并通过一个案例展示如何应用动态模糊评价法对该指标系进行评估;刘平、顾丽琴、吴旭舟借鉴“全面质量改善的开放系统方法”①的思想从投入、培养过程和教育产出三方面对研究生教育质量展开评价,评价体系框架由4个目标层(生源素质、培养条件、教育管理、培养结果)、10个准则层、39个指标层组成;华宝玉、刘思文、周丹从控制论的视角提出研究生教育质量的保证体系,该体系从29方面来保障研究生教育的质量,实质上为监督和评价研究教育质量提出了框架体系;翟亚军、王战军、彭方雁建立了研究生质量指数的测算方法,并按照全面与重点相统一以及监测性和预警性原则,选取生师比、生均科研经费、资产总额三项指标编制“985工程”一期29所教育部直属高校的研究生教育质量指数。在评价方法上,罗杭与郭珍、徐娟运用DEA超效率模型对高校教育效率进行了评价,廖文武、陈文燕、郭代军运用层次分析法、对比法对研究生教育质量展开了研究。上述文献研究为探索研究生教育质量评价指标体系和方法打下了重要基础,但存在以下问题:1.指标太细化,严重影响评价体系的可操作性和实用性。指标过细,一方面不利于指标的量化,另一方面也不能一一找到这些指标的权威的样本数据,从而严重影响评价结果的有效性和准确性,进而影响了该指标系的普适性、可操性和实用性。2.注重投入而忽略产出,或兼顾了投入与产出,却又忽略了投入与产出的函数关系,把投入与产出置于同一系统进行评估。评价指标中往往以投入为导向,注重投入要素包括人力(导师数或生师比)、财力(研究生科研经费)、物力(例如实验室、科研仪器设备、研究基地等),忽略了产出对研究生质量的评价;而兼顾了投入与产出的,又把投入与产出看成同一性质的变量,忽略了投入对产出的影响,即产出是投入的函数这一关系,把产出置于投入系统进行评估,不利于研究生教育质量评价。3.过于注重评价方法的复杂性,而忽略其对管理者的易操作性。研究生质量评价指标体系及其方法的研究,旨在为管理者提供决策支持,因此选取过于复杂的评价方法来追求评估结果的精确性势必导致这些方法的可操作性差。为此,本文在弥补上述不足的情况下,按照以下思路展开研究:综述当前研究文献,在此基础上提出研究生教育质量效率的内涵,构建研究生教育质量指标体系,提出评价方法,随后进行实证分析,最后密切结合实证结果与我国研究生教育的实际,提出提升我国研究生教育质量的对策建议。二、研究生教育质量效率的内涵和指数测量方法(一)生教育质量效率对研究生教育质量效率指数的理解和定义为:研究生教育质量效率包含三方面内容:一是研究生教育投入质量;二是研究生教育产出质量;三是研究生教育质量效率,即研究生教育投入产出质量的比。(二)基于综合评价法的质量效率评估用Ei表示研究生教育质量效率指数,Ti表示研究生教育投入质量指数,Ci表示研究生教育产出质量指数。其中i=1,2,…,n,n为样本容量。且定义:但无论哪种单一评价法都有其优缺点,若只用一种方法进行评价,其结论难免存在偏差。为此,有必要选用多种简单实用的单一评价法进行各自分析,然后将所选用的各评价法所得的评价结果进行综合分析,最终得到合理的评估结论,这种方法叫“综合评价法”。相比单一评价法,综合评价方法是在单一评价的结果基础上进行组合分析,一方面,既充分利用了各种单一评价法的优点,有利于克服单一评价的缺陷,使综合之后得到的评价结果具有一定程度的互补性,进而使得其评估结果也更加一致和科学;另一方面,在应用综合评价方法前需要对单一评价法的结果进行事前检验,综合评价后需把所得的结果与单一评价法的结果进行事后检验,这是大多数单一评价法不具有的步骤。事前事后的检验可使综合评价更加准确。故笔者密切结合我国高等院校研究生教育投入产出的特点以及本文的研究目的,选取因子分析法、改进熵权TOPSIS法、DEA数据包罗法中的超效率模型法分别测量高等院校研究生教育投入质量指数Tij、产出质量指数Cij(j表示第j中测量方法,故j=1,2,3),再据式(1)可计算每种评价模型与方法下的质量效率指数Eij;然后采用综合分析法对单一评估结果进行综合分析,从多角度、多方面考察高等院校研究生教育质量效率指数。由于篇幅问题,对单一评价模型的思想和步骤笔者不在此给予介绍,而直接概述综合评价法的思想与步骤。1.单一评价方法组合评价笔者选取上述3种单一评价法的评价结果为基础,再采用“综合评价法”,从多角度、多方面对研究对象进行评价。目前关于综合评价方法比较多,主要有:平均值法、中位数法、分位数法、Borda法、Copeland法等。笔者选取较为常用和操作性强的方法:平均值法、Copeland法和模糊Borda法。笔者在此不赘述所选方法的具体思想,而直接介绍综合评价法的基本思想和具体步骤:①运用因子分析法、改进熵权TOPSIS法、超效率DEA法分别评价研对象,得到相应的得分和排序结果。②进行Kendell一致性检验。肯达尔(Kendell)协同系数(coefficientofConcordanee)检验法是检验各种单一评价方法排序的结果总体上是否具有相容性。若具有相容性,可对所选的单一方法的评价结果进行综合评价分析研究,并进行步骤④;若未通过Kendell检验,则进行步骤③。③进行Spearman检验。在步骤②中出现了单一评价结果之间不存在相容性,则需对单一方法两两进行Spearman检验,选择将具有一致性的方法组合在一起,然后对样本资料、评价结果及方法特点进行分析,选取出既符合实际又具有一致性的几种方法,再回到步骤②。④利用综合评价法对单一评价结果进行组合,得到组合评价结果。即运用平均值法、Compeland法、模糊Borda法对上述几种方法的评价结果进行组合,得出组合评价值,按组合评价值的大小得到几种组合评价的排序结果。⑤如果三种组合评价结果有差异,再对三种组合评价值重新组合,重复步骤④,直到三种组合评价的标准差小于给定的某一充分小的正数。根据统计学相关理论,综合评价结果的标准差会随着组合次数增加而较少。2.基因子分析在应用单一模型评价时,需对原始样本数据进行无量纲处理。设有n个待评对象,m个评价指标,xij表示第i个待评对象的第j个评价指标的数值,则数据原始矩阵为:X=(xij)n×m,i=1,2,…,n;j=1,2,…,m;则:对原始矩阵X进行数据无量纲化处理得矩阵Y=(yij)n×m。对于效益型指标(产出指标),指标值越大越好,则令:其中ρ2jk是指标j与k之间的相关系数,σ2jk是指标j与k之间的偏相关系数。KMO∈[0,1],若0.9<KMO,表明指标非常适合做因子分析;若0.8<KMO<0.9,则适合做因子分析;若0.7<KMO<0.8,则可以做因子分析;除此之外则不适合做因子分析。三、为研究生教育质量指标体系的建立(一)对研究生教育实际情况的评价研究生教育质量高低是通过评价指标进行度量的,为使这种度量可以准确、客观、全面地反映研究生教育的实际状况,笔者在选择评价指标时严格遵守以下基本原则:系统性原则、有效性原则、可操作性原则①。结合我国研究生教育发展的实际及相关数据的可得性,选取以下指标来构建研究生教育质量评价指标体系(见表1所示)。1.教育投入:研究生培养方面开展研究生教育的办学资源。主要包括师资(人力)、财力资源、物质资源。在师资方面,用导师人数、有博士学位导师占总导师比、国家创新研究人才数共3个指标来衡量师资投入的程度;在财力方面,用生均教育经费拨款、生均科研经费占有量来度量研究生教育的财力投入情况;在物质资源方面,用教学科研仪器设备额原值、图书数字资源量、国家重点实验室或研究基地数来衡量研究生教育的物质投入情况。2.生产质量指标体系主要包括人才培养和科研产出。人才培养方面用培养的研究生人数来度量;科研产出用研究生发表论文数、研究生参与完成的自(二)指标的描述1.设计符合人文科技与发展经费从现有科研经费的实际情况来看,人文社科类与自然科学类的研究与发展经费额度悬殊很大。为了避免由该悬殊导致的不公正性,故对该指标进行如下设计:用HSS、NH分别表示人文社科、自然科学生均研究与发展经费。根据式(2)、(3)分别对HSS、NH进行无量纲化处理,随后赋予它们相同的权重,即:2.人文科学与知识产权授权用HSSP、NSP分别表示人文社科、自然科学的“研究与发展课题项数”;用GRDHSS、GRDNS分别表示人文社科、自然科学的“研究与发展课题情况”中的“在学研究生数”,用SRDHSS表示人文社科科学研究与发展成果情况中的“鉴定应用成果数”;用SRDNS表示自然科学的科学研究与发展成果情况中的“国家级项目验收项目数”与“知识产权授权数”的和。和I5的设计一样要考虑到人文社科、自然科学科研项目的差异性,故对Y3进行如下设计:四、示范分析(一)助力政策或资金支持的效应截至目前我国“985工程”一期(34所)与二期(5所)高校共计39所,但二期高校于2006年才加入“985工程”行列,进入时间比一期高校短,各种政策、资金等支持所产生的效应可能还未完全显现出来,为此仅选取“985工程”一期34所高校为样本。样本数据主要来源于《教育部直属高校基本情况统计资料汇编》、《高等学校科技统计资料汇编》、《教育统计年鉴》、《中国教育经费统计年鉴》、各高校数字图书馆(主要收集图书馆购买国内外研究数据库的情况)、科技部门科技基础条件资源调查管理系统数据库(主要收集高校研究基地数、科研仪器设备等相关数据)。(二)评估结果表明1.因子分析方法在因子分析法中,需先对样本数据进行KMOandBartlett检验,以确定样本数据是否能适合进行因子分析。笔者运用spss16.0来对34所“985工程”高校研究生教育的投入质量样本、产出质量样本进行KMOandBartlett检验,检验值分别0.836(0.000)和0.884(0.000),故投入质量与产出质量的样本数据均可进行因子分析。表2给出了因子分析法中样本旋转后的因子载荷矩阵和因子载荷比重(计算综合因子得分时的权重)。表3给出了改进熵权的TOPSIS法中样本指标的权重系数。表4、表5分别展示了超效率DEA分析法中研究生教育质量效率指数小于1的24所高校的投入沉余率和产出不足率的情况。表6给出了单一评价模型的研究生教育质量效率指数Ei的值以及按照效率值大小的排位情况。2.评价对象的确定在应用综合评价法对“985工程”一期34所高校研究生教育质量效率指数进行评价时,需进行事前检验,检验单一评价模型所得的排名是否具有相容性和一致性,只有单一评价模型所得的排序结果具有相容性时,对它们进行综合评价才会有效。笔者将采用肯达尔(Kendell)协同系数(coefficientofConcordanee)检验法来对单一评价模型所得的排名结果进行事前检验。具体地,对于用m种评价方法对n个被评价对象结果进行评价,则有:(1)H0:m种评价方法不具有相容性;H1:m种评价方法具有相容性。(2)当n<7时,检验统计量为:对“985工程”一期34所高校研究生教育质量效率指数的实证分析中,笔者采用了3种单一评价方法,有34个评价对象,因此,m=3,n=34。故根据(8)、(9)式的统计量来进行kendell检验。通过计算X2=96.4656,取显著性水平α=0.01,查卡方分布表临界值X2(33)=54.776,X2=96.4656>X2(33)=54.776,拒绝原假设,满足相容性原理,故对单一模型所得的排名结果进行组合评价将是有效的。4.评价结果的相关性分析尽管综合评价法的评价结果较为科学,但也可能存在受随机问题干扰而导致分析结果过于抽象等缺陷,为此有必要把评价的最终结果与单一模型的评价结果进行相关性分析,以评估其科学性。表8给出“985工程”一期34所高校第二次综合评价的收敛排名与单一模型评价的排名的相关系数,结果表明综合评价法与单一模型的评价结果具有一致性,是合理可靠的。(三)高校研究生教育质量效率及产出指标数据分析1.34所“985工程”高校的研究生教育质量效率整体水平偏低。据表6所示,因子分析法下有13所高校的效率值超过了1,而另两种评价模型方法下均只有10所高校的效率值超过了1,即产出质量水平高于投入质量水平的高校约32.25%①,揭示了当前34所“985工程”高校的研究生教育质量效率较低的事实。另外,值得关注的是,中科院及国防科工委所属的5所②“985工程”高校中仅哈尔滨工业大学的效率和排名比较靠前,而其余的效率与排名都比较靠后(见表6、表7)。2.对比同一档次的院校,处于相对落后地区的研究生教育质量效率比相对发达地区的高,前后者分别呈现出了处于边际报酬递增、递减阶段的特征,这为管理当局优化配置相应教育资源,扶持相对落后地区高校研究生教育质量,提升研究生培养质量效率提供了实证上的支持。结合表6和表7以及近5年来权威机构对高校的排名来看,重庆大学、电子科技大学与大连理工大学、北京理工大学是同一档次的高校,可前两者的效率值和排位要比后两者的高得多;武汉大学、华中科技大学与南京大学、中山大学是一个档次,也出现了上述的情况;同时,结合表4、表5中投入指标沉余率、产出指标不足率,地处广东、北京发达地区的高校投入指标沉余有比中西部地区高校偏高的趋势,而产出指标不足率值却呈现偏低的态势,这表明地处发达地区的高校研究生教育质量效率处于边际报酬递减阶段,而欠发达地区的高校研究生教育质量效益处于边际报酬递增阶段,这一经济学特征为管理当局制定合理的教育资源投入政策给予了实证上的支持。3.教学科研仪器设备额原值、国家重点实验室或研究基地数、生均科研经费是影响研究生教育质量投入十分重要的因素,也是制约当前我国研究生教育质量提升的关键因素。据表2影响34所“985工程”高校研究生教育质量投入的第一因子是物质资源,该因子权重系数达40.324%,在投入要素的3个主成分中占绝对比重;表3的TOPSIS法的指标权重系数中教学科研仪器设备额原值、国家重点实验室或研究基地数、生均科研经费投入分别达16.52%、15.07%、14.73%,占据了投入要素的前3位。可见,教学科研仪器设备额原值、国家重点实验室或研究基地数、生均科研经费是影响我国高校研究生教育质量投入的关键因素。投入沉余率表明的是产出规模不变的情况下投入可缩减额度,据表4,I8国家重点实验室或研究基地数、I5生均科研经费、I6教学科研仪器设备额原值、I2国家创新研究人数可缩减的高校数分别为0所、0所、8所及4所。这揭示了当前高校研究生教育中科研设备与基地建设及科研经费配置水平还远远不够,难以满足研究生教育与科研的需求,制约了研究生教育质量的提升。4.科学研究与发展成果数、研究生发表论文数是衡量研究生教育质量产出水平高低的关键性指标,“985工程”高校在这些指标上产出不足率高,是未来提升和改进研究生教育产出质量的方向。表2中产出的第一因子包含了Y1研究生发表论文数、Y2人文社科应用成果项数、Y3自然科学科学研究与发展成果,该因子权重系数高达68.751%。而表3中该3项的权重系数分别达了23.39%、23、699%、33.07%。这说明了研究生参加的科学研究与发展成果数、研究生发表论文数是衡量研究生教育产出水平高低的十分重要的指标。产出不足率指在投入指标一定的条件下产出指标可增进的空间。据表5所示,Y1、Y2、Y3有增进空间的高校分别有15所、19所、10所,分别占了全部“985工程”高校的44%、56%、29.4%,揭示当前我国“985工程”高校的研究生教育质量在研究生参与的科学研究与发展成果数、研究生发表论文数上产出不足,还有较大的增进空间。这也为“985工程”高校今后提升研究生教育质量产出效率指明了方向。五、推动高校研究生教育质量效率提升笔者应用综合评价法对“985工程”一期34所高校的研究生教育质量效率指数进行了研究,结果表明当前我国34所“985工程”高校的研究生教育质量效率整体水平偏低,教学科研仪器设备、国家重点实验室或研究基地数、生均科研经费是制约当前研究生教育质量提升和改进的瓶颈因素。研究还进一步揭示了“985工程”高校在研究生参与的科学研究与发展成果数、研究生发表论文数上产出不足,还有较大的增进空间,是今后提升研究生教育质量的方向。针对研究发现的问题,提出以下建议:1.合理统筹规划研究生教育资源。在增加对研究生教育培养的科研经费和科研设备、研究实验基地建设的投入基础上,适当向相对落后的西中部的“985工程”高校合理倾斜,弥补由于区域经济发展不均衡给研究生教育质量带来的非均衡冲击,充分挖掘这些高校处于边际报酬递增阶段的效率潜力,进而推进整个高等院校的研究生教育质量效率。2.优化研究生教育资源配置的结构。切实加大对研究生的科研经费、科研设备、研究实验基地等影响研究生教育质量的关键因素的投入,即加大对沉余率较低的指标和高校的支持。与此同时,一方面积极调整和精简投入沉余率较高的指标,改进和提升其效率;另一方,充分利用国家、地方层面的科技资源共享体系,弥补高校科技基础条件资源配置的不足,加强研究生教育与实践的结合,培养研究生的创新能力。3.建立多元化的研究生教育质量评价机制。完善健全的研究生教育质量评价机制包括内、外质量评价体系。建立内部质量评价体系即高校的研究生教育质量自评机制,它对研究生教育质量评价起着基础性作用。该机制应该建立健全的研究生管理制度、来源多样的具有权威性的高校研究生教育质量督导检查队伍及其