星刻think我国综合性高校评价指标体系构建

1、队名： 星刻（think）队 厦门大学第十五届“经济决赛作品”大赛名 称：团 队 成 员： 经济学院金融系2013 级经济学院经济系2013 级经济学院金融系2013 级经济学院国贸系2013 级经济学院金融系2013 级摘要进入 21 世纪以来，中国高等教育逐步由追赶型进步转变为主动型，由外延式扩张转变为内涵式发展，高校的建设状况与发展水平越来越受到关注。自 1987 年第一个大学诞生以来，一些国内机构与组织相继推出基于不同评价指标体系的高校榜，结果各有差异。本文以我国综合性高校为研究对象，首先对国内近十几年大学评价指标体系的发展历程及现状进行观察对比，分析现有评价指标体系存在的若干缺陷，阐

2、价体系合理性与公的意义与目的。其次，借鉴国内外大学指标进行综合分析，尝试构建一套针对我国综合性高校的更综合、更稳定的评价指标体系，并对所选取的高校样本进行。最后，本文对结果和模型优劣进行检验，对构建过程与结论进行系统分析，期望能在实现优化高等教育资源公平配置方面提供参考依据。此外，在构建体系的过程中，本文对指标的选取反复斟酌，指明了构建一个合理的评价指标体系应注意的事项及应具备的意识。评价指标体系综合性高校综合赋权法Z 分数计算法Abstract21stSince the beginning of thecentury, Chitertiary education gradually hasg

3、rown to be of initiative attitude instead of catching up with the progress. Step by step, ittransforms fromsituation and development level of Chi universities have been paid increasing attention to.Since the birth of the university ring results in 1987, some domestic institutions andanizations have

4、launched different evaluation index systems for all respects of colleges anduniversities, whose results are different from each other. This pr aimed at domestic omnibusuniversities, of all making a comparison about the development history and current sus ofdomestic university evaluating index system

5、 in recent years, as well asyzing the defaultheexisting evaluation index system and elaborating the significance and pure of rationality andcredibility of the evaluation system. Secondly, this pr used the experience of college ringindex bot home and abroad, trying to contribute a more comprehensive

6、and stable evaluatingindex system centered on the omnibus universities in our country, and ring the colleges fromthe selected sle in addition. Last, this pr tested whether the ring result is good enough,through a systematic ysis of the construction pros and , ho to provide areference in achieving th

7、e optimization of higher education resource allocation. Besides, in thepros of building the system, the selection of the index is repeated, which indicates what shouldbe paid attention to when establishing a reasonable evaluating index system.Key WordsSystem of Evaluating IndicatorChiInland Omnibus

8、UniversitiesComprehensive weighting methodZ-Score Calculation Method3extensive expano connoive improvement, where the construction4目录一、引言6（一）大学（二）大学及评价指标体系的定义6评价指标体系的发展现状6（三）构建我国综合性大学评价指标体系的目的及意义7（四）本文模型预期效果7二、评价指标体系构建思路与分析方法8（一）评价指标体系构建思路8（二）分析方法8三、评价指标体系的构建 .（一）指标说明.（二）评价指标体系的组合赋权说明.10101313161719

9、2021212124262727271.赋权法AHP 法.2.客观赋权法CRITIC 法.3.组合赋权法为主客观的综合赋权方案赋权 .（三）评价指标体系的结果.四、评价指标体系特色分析 .五、评价指标体系有效性检验 .1. 指标相关性检验与分析.2. 与其他结果的差异性检验与分析.六、 结论 .参考文献: .附录： .一、Z 分数计算步骤 .二、 数据来源及相关整理.5一、引言（一）大学及评价指标体系的定义所谓大学，主要是指通过加工处理各大学之间的可比信息，并以简单直观的结果的层次和差异。自 1983 年美对各大学进行排序，从而试图反映各高校办学质量和国与世界（US News）开始对大学进行以

10、来，大学方兴未艾，世界各国许多研究机构致力于开发各种衡量指标，并在此基础上形成了多种体系1。（二）大学评价指标体系的发展现状随着全球化趋势的日益加剧，大学已经逐步成为大学评价的重要形式与主要之一，愈来愈受到各国各级、高等学校、学生及家长的广泛关注，对高等教育领域也产生了越来越大的影响。国际上，目前全球范围内认可度较高的世界大学主要有三种：英国士高等教育（Times Higher Education，THE）世界大学、国际高等教育研究机构（QS）世界大学和交通大学世界大学学术（Academic Ring of World Universities，ARWU）。三种指标体系各不相同，各有侧重。例如

11、，ARWU 看重学术成就，获尔奖、兹奖的教师和校友人数占分比较高2；QS 世界大学指标相对简单，其中学术声誉和雇主声誉等主管评价指标权重高；而 THE的指标体系最为全面，从多达 13个二级指标对大学进行衡量，因此在国际上的认可度也相对较高3。在我国，大学评价体系经历了速度与质量兼备的发展。自 1987 年第一个大学以来，我国大学体系从只包含数量的单个指标，向涵盖多个方面的综合指标评价体系不断演变。，国内每年都会出现以中国管理科学科学、中国校友会和大学的中国科学评价机构为代表的约十几个版本的大学综合排名。从指标选取上来看，不同的评价机构对大学的认识有差异，选取的指标差异也较大。从评价方法上来看，

12、现有大学评价体系的指标赋权大多数采用赋权法4。而目前我国各机构现行评价指标体系存在或多或少的弊端51. 指标权重方面过于重视科研，忽视培养。2. 数据来源过于狭窄。信息缺失，外加现存有效数据的难以获取，均使其评价体系无法有效评价各大高校。国内高校信息披露甚少，部分优良指标因此丧失数据支持，最终导致机构放弃原指标、转而选取次优指标。评价指标被迫转向的背后意味着体系解释能力的必然弱化，更有甚者可能丧失评价程度的公允性。3. 信息不公开。很多大学机构在发布6时不指标具体计算方法及数据来源，使调研操作的严谨、公正性受到质疑。在缺乏的环境下，一些机构会受到某些高校的影响，如高校提供、进行等，使得机构不能

13、公正地进行。（三）构建我国综合性大学评价指标体系的目的及意义中国当前正在实现从高等教育大国向高等教育强国转变。在 985 工程的支持下，中国旨在打造一批高水平大学进入国际先进行列。构建中国综合性大学评价指标体系，有助于1.引导学教书育量，重视本科生及教学工作，提高培养的层次及规格，培养拥有钻研精神和创新创业能力的优秀毕业生，学的“立德树人”水平、优秀与杰出的贡献能力。2.促进学提高学术研究水平，明晰高校办学类型和办学定位，鼓励高校在国家和区域的知识创新和技术创新工作中发挥重要作用，提高高校对国家、行业和社会的贡献力及其在社会上的。增强高校之间的竞争的之余促进相互借鉴，推动国内高校快速发展。3.

14、帮助应届生源作出决策分析，对比毕业生职业成就和职场表现，对大学的培养水平和毕业生在职场中层次及规格进行分类定位，提准资讯。（四）本文模型预期效果1.构筑稳定的大学指标体系，定期衡量各大学的发展水平，及时发现各高校发展中。2.为学生择校提供信息，同时增强人们对高等教育的关注。3.结果，引导社会。对民间以及向高校的提供充分信息，改善社会稀缺资源配置。4. 据结果的变化反映大学的发展趋势。每年指标数据的变动对大学演变过程有清晰的展现，为相关研究的进行提供数据支持。7二、评价指标体系构建思路与分析方法（一）评价指标体系构建思路本综合性大学评价体系整体上试图建立一套横向纵向综合性框架、客观指标相结合的评

15、价体系。横向上，模型选取对高校的横截面剖析，选取最能体现高校竞争力的“培养”和“科研能力”为一级指标，同时考虑到现代高校建设与发展越来越重视对世界的开放和与外界的交流，为反映这一趋势，特将“国际影响”设为一级指标。纵向上，在指标的选取上，大体按照与培养的时间顺序，以高校通过高考招收的生源质量为起点，包括留学生比例，到高校吸引优质生源的师资实力和学科建设状况，再到学生与老师碰撞反应之后达成的教育产出，如国家级综合性赛事获奖，国家自然科学奖等三大奖，质量等，延伸到一个 4 年本科培养周期后高校向社会输出的杰出，普通毕业生薪酬，最后到校友对母校的回馈。纵向上，在数据的时间跨度的选择上，考虑到本科教育

16、普遍以 4 年为周期，加强指标的连续性与公，多数指标采用最近 4 年数据。考虑到赛事举办的周期与本科学制，多数指标选取最近 2-4 届获奖情况以实现倍数于本科学制。客观上，不采用国际大学评价体系中青睐的诸如雇主评价，评价等完全性指标，只考虑既具有可比性又具有唯一性的客观数据，如高考生源质量平均维度，综合性赛事获奖名次与数量，通过 Thomson Reuters 数据库获取的篇均次数等。上，在衡量客观数据的同时赋予了色彩，比如对“杰出校友”的“杰出”含义的界定，对、评分分值大小等。（二）分析方法资料搜集过程中将文献资料筛选法、网络搜索法和询问法相结合获取二手资料。通过参考国内国际大学相关文献资料

17、，以客观性指标为基础，综合创新性指标构建本文的综合性大学评价体系。通过教育部数据、各高校官网给出的统计资料、新浪教育高考数据库、Thomson Reuters 数据库，以及使用其他较为机构的相关指标数据，获取原始数据。对于难以搜集的数据采取了致电高校招生办等机构进行直接询问以补充。数据处理上使用了 Z 分数标准化法和百分数直观法。对原始数据采取 Z 分数标准化法从而化成无量纲数据，同时剔除值影响。对每个指标的进行百分数化更加直观。模型构建上采取赋权法中的层次分析法和客观赋权法中变异系数法的综合赋权法对每个二级指标进行权重分析。8模型有效性检验上对指标两两之间进行 Pearson 相关性检验，对

18、本评价体系最终结果与其他国内大学结果进行 Wilcoxon 秩和检验进行差异性分析。综合性大学评价指标体系培养科研能力国际影响横向剖析生源质量学科建设师资实力教育产出国家级科研奖励篇均论文被引用次师均论文发表数量国际合作论文留学生比国家重点学科规范教材国家教学成果杰出师资师生比国家级赛事获杰出校友毕业生薪酬校友捐赠纵向剖析9我国综合性大学评价指标体系构建三、评价指标体系的构建（一）指标说明10范”，“国家教学成果奖”，“杰出师资”和“师生比”四个三级指标。（1）“规范”三级指标：编写反映高校该学科体系化程度和领先水平。取普通高等教育“十一五”，“十二五”国家级规划第一作者。数据来源：中民教育部

19、。（2）“国家教学成果奖”三级指标：衡量高校教育教学水平。由教育部的的教学成果奖（2014 年）所属高校为准。按奖项等级分数*获奖数量计为高校得分，计分规则：特等奖 10 分，一等奖 7 分，二等奖 5 分，三等奖 3 分。数据来源：中民。教育部（3）“杰出师资”三级指标：师资力量一定程度体现在：两院，入选者，杰出青年基金获得者等教师数量。在本指标体系中，按头衔重要程度分数*数量。计分规则：两院*5 分，特聘教授及讲座教授*3 分，国计划入选者、家杰出青年基金获得者*1 分。数据来源：各高校官网统计资料。（4）“师生比”三级指标：师生比虽然不能根本反映高校学术与科研质量，但是作为高校之间的可比

20、指标，师生比可以反映平均每位学生可以享受多大程度的老师的关注，反映小班制和导师制在培养上的作用。并且，教师数量不包括行政，计算公式为：师生比=专任教师数量/在校生数量。数据来源：各高校本科教学质量、各高校官网统计资料。4.“教育产出”二级指标：衡量一所大学的教育成果，包括直接的赛事获奖和间接的社会影响。下分“国家级赛事获奖”，“杰出校友”，“毕业生薪酬”和“校友捐赠”四个三级指标。（1）“国家级赛事获奖”三级指标：在有认可度的综合性国家级赛事中，如大学生数学建模竞赛，“杯”大学生课外学术科技作品竞赛，获奖数量是高校学业水平的可比指标之一。取最近四年（两届）“大挑”获奖数量，取最近四年大学生数学

21、建模竞赛获奖数量（其中联合赛区为青海联合，不计），按奖项等级分数打分*获奖数量计为高校得分。计分规则：特等奖 10 分，一等奖 7 分，二等奖 5 分，三等奖 3 分。数据来源：杯竞赛官网、数学建模竞赛官网。（2）“杰出校友”三级指标：杰出校友作为高校形象有利于扩大高校在社会的。考虑到文化艺术界杰出程度难以划分，所以杰出校友暂只包括政界、商界。政界以最近两届中民组成的毕业院校为准，按国级 5 分/人，副国级 3 分/人，省部级正职 3 分/人计为高校得分。商界以福布斯 2015 全球榜中国前十毕业院校为准，11计 4 分/人。数据来源：中国网，福布斯榜。（3）“毕业生薪酬”三级指标：毕业生薪酬

22、反映专业对普通大众的导向和高校对普通大众的。数据来源：中国基于专业求职620 所本科院校的数据制作的榜。（4）“校友捐赠”三级指标：高校接受的校友捐赠数量反映高校在社会心目中的培养能力，与“毕业生薪酬”指标互补。数据来源（借鉴二手数据）：中国校友会网。5.“国家级科研”二级指标：高校的国家自然科学奖、国家技术发明奖、国家科技进步奖在授奖项目中的高比例，说等学校的科研实力在不断，体现了高校的基础研究和原始性创新研究在国家科技创新和经济发展的贡献与地位。取最近 5 年“高校获 201X 年度国家科学技术情况”。 按奖项等级分数*获奖数量计为高校得分，计分规则：一等奖 7 分，二等奖 5 分，三等奖

23、 3 分。数据来源：中站。民教育部网6. “”二级指标：衡量一所大学的学术产出能力。下分“篇均被次数”，“数量”两个三级指标。（1）“篇均被次数”三级指标：是指一篇学术物在他人中的参次数可以认为是衡量科研质量的有效指标。取近 4 年 SCI，SSCI 源期刊发考，被表的被次数/篇数。作者自不计。考虑到息中心每年评比各SCI 数只计四类文章（article,letter,review 和 editorials），该四类文章的形式涵盖了大部分科研学术），因此其余类型不计。数据来源：厦大馆进入 web of science 外文数据库。（2）“数量”三级指标：取近两年在 SCI，SSCI 源数量。该

24、指标反映高校研究的生命力和。取最近两年上述四类数量/专任教师数。数据来源：厦大馆进入 web of science 外文数据库。7.“国际合作”二级指标：国际合作数反映了高校学术上同国外科研机构的合作程度，反映国内高校在界的影响。采用得到国内外学界认可的第机构数据库统计数据ESI 国际高水平中除去国内自完成的数量，得出同国外馆进入 web of knowledge 外文数据库。科研机构合作的数量。数据来源：厦大8.“留学生比”二级指标：有国际声望的高校会吸引的外国学生前来求学。留学生指非中国国籍的攻读学位的来华外国生。计算方法为留学生数量/在校学生总数。数据来源：各高校官网统计资料。12（二）

25、评价指标体系的组合赋权说明为了让大学的结果更加科学，采用了组合赋权法将赋权法（AHP 法）与客观赋权法（CRITIC 法)综合起来，利用组合赋权法唯一最优存在定理确定两种方法在赋权体系中应占的权重。在充分考虑各项指标的现实意义的同时，又能兼顾反映数据搜集情况和指标间性的客观信息，具有较强的数学理论依据。使得中国内地综合性大学评价体系的指标权重既能体现信息又具有客观公正性。1.赋权法AHP 法层次分析法（AHP 法）一种在社会经济领域被广泛运用的赋权法。它是针对上一层次某元素对本层次各个元素的相对重要性进行两两比较，给出判断并用数值构造判断矩阵，然后利用特征向量求出权数的法。其操作步骤如下：第一

26、步：构造判断矩阵判断矩阵表矩阵中 B1,B2,，Bn 表示 n 个目标，其判断矩阵中的 bij 表示第 i 个目标与第 j 个目标相比较的重要程度，用 1，2，9 表示，其含义如下:bij=1 表示 Bi 与 Bj 相比，两者重要性相同。bij=3 表示 Bi 比 Bj 稍重要。 bij=5 表示 Bi 比 Bj 重要。 bij=7 表示 Bi 比 Bj 强烈重要。 bij=9 表示 Bi 比 Bj 极其重要。它们之间的数 2、4、6、8 有相应类似的意义,且规定 bij=1/bji。第二步：求出特征向量在不需要追求较高的精确度时，可以用较为简单的几何平均数法求得权重，其步骤如下:1) 计算各

27、评价值向量的几何平均数：（1）13B1B2BnB1b11b12b1nB2b21b22b2nBnbn1bn2bnn我国综合性大学评价指标体系构建在 Excel 上可用 GEOMEAN 函数求得。2)归一化处理：（2）W=(W1,W2,Wn)即为所求的特征向量。第三步：求出最大特征根，进行一致性检验1)计算最大特征根：14我国综合性大学评价指标体系构建Sum(Vi)=4.53最大特征根=4.01CI=0.00RI=0.58CR=0.03“科研能力”二级指标赋权过程15我国综合性大学评价指标体系构建保留 4 位小数）16我国综合性大学评价指标体系构建C jW ，j=1,2,3（6）jnCii1使用

28、SPSS17.0 统计求出各评价指标的相关系数，得到相关系数矩阵 R，再求出各指标的变异系数，用以上两个公式便可求出每个指标的客观权重。具体计算过程如下表：（计算结果保留 4 位小数）17我国综合性大学评价指标体系构建重，18我国综合性大学评价指标体系构建（三）评价指标体系的结果从目前入选“985 工程”的大学中选取了 24 所高校。选取依据为：、重点高校较多，故选取 2 至 3 所。此外，其他省份均有 1 所高校入选；从每个地区筛选高校时，综合性强的大学优先。根据上述方法，结果如下所示：19四、评价指标体系特色分析1.采用赋权与客观赋权相结合的组合赋权法，使大学指标评估的结果同时反映了现实意

29、愿和客观实际情况。客观赋权法具有较强的数学理论支持，缺点是无法反映社会对大学的偏好；赋权法能充分考虑社会成员的意愿，缺点是其收到评估自身的素质和知识经验的制约，且带有一定随意性。利用组合赋权法唯一最优存在定理，确定两种方法在赋权体系中的，令二者相互补充，使赋权更为准确和可靠。2.评价指标覆盖较为全面。采用“培养”、“科研能力”和“国际影响”作为一级指标，“生源质量”、“杰出师资”、“篇均被次数”等具有代表性和性的指标作为直接赋权的二级或三级指标，较为全面地涵盖了能够反映中国综合性大学办学水平的各个指标领域。3.在赋权法中赋予“培养”较高权重，“科研能力”次之。本文认为大学最基本职能是培养学生。

30、科研成果固然重要，但如果过分重视科研，忽视培养，那么对于各专业的毕业生能力培养就会整体削弱生产力，最终也会导致科研能力下降。4.指标体系结构设置较为合理且直观。根据不同指标的特征及目标不同，将各项三级指标归入相应的二级指标，再归入一级指标。同时，在将指标归类的同时，适当考虑各指标的逻辑关系，譬如将“培养”一级指标按教育的工序细分为“生源质量”、“学科建设”、“师资实力”和“教育产出”，将 3 个一级指标按重要性排序等。5.指标数据来源可靠。在搜集指标数据时，秉承客观性和可比性原则，利用多个学术数据库、国家部门官网、赛事官网等多种途径搜集在同一时期的源数据并进行统计。在此基础上，剔除一部分数据缺

31、失的指标。对于不能够反映实际情况但信息量充足的指标，也予以剔除。20我国综合性大学评价指标体系构建五、评价指标体系有效性检验1. 指标相关性检验与分析在一个评价体系中，指标间的相关性影响整个体系的效果。如果指标间具有强的相关性，含义又很接近，那么就需要根据实际情况调整某些指标。21我国综合性大学评价指标体系构建22在指标选择和评价方法上存在差异，但最终结果不具有统计意义上的显著差异，符合社会对高校的一致性认识。23六、结论本文以我国综合性高校为研究对象，秉承全面、有效、公正的原则，借鉴国内外大学指标进行综合分析，运用主客观相结合的综合赋权法建立起一套针对我国综合性高校的评价指标体系，通过搜集清

32、晰、准确、可靠的高校原始数据，经过标准化处理后充分发挥数据的代表意义，对所选取的市代表性高校进行综合，包括各项指标的情况。结果一定程度上反映了参与的 24 所高校的竞争力，为高中毕业生择校提供必要信息与参考价值，对高校创新与特色发展、建立高水平的世界一流大学发挥一定的导向作用，有助于促进高等教育资源的公平配置。此外，本评价指标体系从学术出发摆脱功利性影响，使高校之间形成良性竞争的氛围。1. 优点与创新在指标权重的选择与确定中，采用一种赋权法，即层次分析法与一种客观赋权法，即变异系数法相结合的组合赋权法，避免了单一方法的局限性，强调了对现实意愿和客观实际情况的同等重视程度，使高校结果更具有参考性

33、。在评价指标的选取上，指标覆盖面广泛，不采取对单一方面，如学术水平的评价。采用“培养”、“科研能力”和“国际影响”作为一级指标，“生源质量”、“杰出师资”、“篇均被次数”等具有代表性和性的指标作为二级或三级指标，较为全面地涵盖了能够反映中国综合性大学办学水平的各个指标领域。在数据搜集过程中，秉承客观性和可比性原则，利用多个学术数据库、国家部门官网、赛事官网等多种途径搜集在同一时期的源数据并进行统计。在此基础上，剔除一部分数据严重缺失的指标，对于不能够反映实际情况但信息量充足的指标也予以剔除，对部分缺失数据采取曲线获取如询问高校、合理比例近似替代等方式录入。在体系构建完成后，对体系整体进行分析和

34、检验，检验指标之间相关性大小和赋权法的有效性，外部检验由体系结果与其他机构、组织的结果的差异性，对比理论结果与实际认知。2. 问题与改进在指标权重的选择与确定中，采用一种赋权法与一种客观赋权法相结合的组合赋权法，在两种方法上并无区别偏好，可能导致个别指标的权重高于值。今后的改进方向：可以综合多种主客观赋权，合理制定偏好。在数据搜集过程中，指标覆盖全面但衡量指标的数据较为单一，比如国家级赛事获奖这一三级指标，国家级赛事包括的种类纷繁复杂，考虑举办时间长短、数据是否健全等因24素，本评价体系中只包含“杯”大学生课外学术科技作品竞赛和大学生数学建模竞赛两大赛事，必须承认具有局限性。这是数据难以获取，

35、为保证可靠性不得不剔除指标包含的其他数据，只保留已获得的、认证的、完整数据导致的。今后改进方向：需要信息公开的完善和数据搜集的努力的共同配合。在体系构建完成后，对指标之间相关性大小的检验表明，指标之间或多或少存在一定的相关性，考虑到具有较为显著相关的指标衡量高校水平的侧重点不同，并且根据客观赋权法已经实现了对较为相关的指标赋予相对较低权重的目标，本评价指标体系仍予以保留。对本结果与其他机构、组织的结果的差异性检验表明，尽管次序绝对值上具有明显差异，这是评价指标体系的不同必然导致的，但是在本结果中体现出的综合性高校的偏好倾向，理工偏向型或社科偏向型高校的略有靠后的特点并没有在差异性检验中有所体现

36、。今后改进方数据进行合理排除相关性的处理进行下一步分析，对排名结果运用更为恰当的检验方法进行下一步分析。25参考文献:榜指标体系和数据来源的比较研究A.统计与信息，2011.6.26（6）：1，曾五一.中外大学102-107.2王博文，.世界一流大学的评价分析以高等教育增刊THES榜和交大 ARWU榜为例A.当代教育科学，2011（17）：41-44.3，缪亚军.世界大学2012.6 （3）：9-14.方法结构与比较研究基于 THE 与 QS 的分析A.教育研究，洪兴建，刘萌生. 浅析.学目前存在的及改进Z.中计，2003.12：38-39.学指标体系.:A黑龙江教育（高教研究与评估），2013.8（总 1072）：13-14.6，宋海洲.三种客观权重赋权法的比较分析Z技术经济与管理研究，2003（6）：48-49.7舒，9-11+19.装备维修保障效能评估指标权重组合赋权法的研究A兵工自动化，2010.12（29）：8. 综合评价中指标相关性的处理方法Z统计研究，2003（3）：39-40.9上官剑. 稳定性与差异性：“QS”与“ARWU”世界大学286)：78-83.的实证分析A.比较教育研究，2013.11.(总10第二章QS 世界大学的评测内容与方法J.世界教育信息，2012.（16）：14-16+49.26我国综合性大学评价指标体系构建附录：一、Z 分数计算