适用于远程教育评价的三种评价方法

适用于远程教育评价的三种评价方法

摘要：本文从远程教育评价方法的研究角度出发，简要介绍了三种实用性和操作性较强的评价方法：层次分析法、数据包络分析法和模糊综合评价法，并通过一个实例说明了这几种评价方法在远程教育评价中的应用，旨在探讨对远程教育行之有效的评价工具和手段。关键词：远程教育，评价方法，应用随着远程教育的不断发展，对远程教育效果的评价模式和评价方法的研究也日益受到关注。目前国内对远程教育效果的研究主要侧重于远程教育成本—效益的纵向分析，而对各远程教育机构之间的远程办学效果、资源利用效率、毕业生质量等指标进行横向比较评价的研究则鲜有提及。作为一个系统工程，远程教育在其发展和实践的过程中，如何从社会、经济、技术、组织机构等多角度予以综合考察和全面权衡，为远程教育的发展决策最优化提供科学的依据，是一项艰巨而复杂的任务。而现代科学技术方法、系统方法的不断创新与发展，为解决这一艰巨复杂的任务提供了有力工具。现代的科学评价模式通过建立全面、规范的指标体系，选择特定的评价方法，并依靠计算机和应用软件进行大量的复杂计算，能够将研究对象的属性或定性指标转化为客观定量的计值，从而使评价结果体现科学、民主、公平、公正和公开的原则。一、三种适用于远程教育评价的方法简介自20世纪80年代以来，现代科学评价方法在我国迅速发展，在国民经济各部门中得到了广泛应用。本文结合远程教育的特点，在此简要介绍三种适用于远程教育评价、实用性和操作性较强的数学评价方法及模型。1.层次分析法层次分析法（AnalyticalHierarchyProcess，简称AHP）是由美国运筹学家萨蒂（T.L.Saaty）于20世纪70年代提出的一种系统分析方法。自上世纪80年代以来，层次分析法的理论研究和实际应用在我国迅速开展，在产业政策分析、科技成果评价、人才考核评价、目标规划分析等诸多方面都取得了令人满意的成果。层次分析法将人们的思维过程和主观判断数学化，简化了系统分析与计算工作，体现了人们决策思维的基本特征——分解、判断和综合。层次分析法的基本原理：明确评价对象或目标，研究对象属性，并根据研究对象属性的测度，建立评价指标体系。通过对评价指标的层次分解，构建递阶层次结构模型。确立具有层次结构的指标体系之后，通过选聘专家进行咨询或者通过构建两两比较判断矩阵的形式，把与上一层某个准则相关的下一层指标按重要等级赋值，计算出评价指标体系中各个指标相对于评价对象的重要程度（权重），并对判断矩阵进行一致性检验，以最后确定各指标的权重。从而完成从定性分析到定量分析的过渡。最终能够根据研究对象各个指标的统计数据计算出评价的综合分数。2.数据包络分析法数据包络分析法（DataEnvelopmentAnalysis，简称DEA）是一种以相对效率概念为基础发展起来的效率评价方法，由美国运筹学家查恩斯和库珀（A.Charnes&W.W.Cooper）等学者于20世纪70年代末提出。该方法结构简单，使用方便，不仅可以对多个研究对象中同类型的各评价指标进行相对有效性的评定、排序，还可利用DEA“投影原理”进一步分析各个指标因素中非DEA有效的原因及其改进方向，从而为决策者提供重要的决策信息。如今，DEA方法已成为经济管理、目标决策分析、技术评价等领域的一种重要分析工具和评价手段。数据包络分析法的基本原理：数据包络分析以凸分析和线性规划为工具，评价多个研究对象中同一类型指标的相对效率。假设有若干被评价的研究对象，每个对象都有m种投入指标和n种产出指标，则在每个对象的m种投入指标和n种产出指标之间都可以建立起一定的线性关系。DEA方法就是经过一系列的线性变换，将原有的无法计算的线性方程组转变为具有各类约束条件的、能够得出结果的线性规划问题，可以通过数学软件运算来求解，并比较各个研究对象的相对有效性以及找到需要改进的指标因素。3.模糊综合评价法模糊综合评价法是根据模糊数学理论发展起来的。模糊数学由美国自动控制专家扎德（L.A.Zadeh）于1965年创立，是描述、研究、处理具有模糊特征和模糊概念事物的数学。扎德提出用隶属函数（MembershipFunction）来描述模糊概念，创立了模糊集论，为模糊数学奠定了基础。模糊综合评价法的优点在于考虑到了客观事物内部关系的复杂性和价值系统的模糊性，权衡多种因素的影响，运用模糊数学工具对事物作出综合评价。模糊综合评价法的基本原理：假设被评价对象有m种指标因素需要加以综合评价（用集合形式表示为因素集U={u1，u2，…，um}），对其中的每一个指标因素都可以有n种评价判断选择（用集合形式表示为评价集V={v1，v2，…，vn}）。用模糊集合A=（a1，a2，…，am）来表示每个指标因素在人们心目中的重要程度，即每个指标的模糊权重，可以通过专家咨询法、层次分析法等方法获得；用一个m*n的矩阵来表示指标因素与评价判断之间的模糊关系，其中通过构建各种隶属函数将每一因素的模糊判断转化成对评价集V的隶属程度。对这两类模糊集施加某种模糊数学运算，便能得到被评价对象相对于n种评价判断的等级，从而得到明确的量化的评价结果。二、三种评价方法在远程教育评价中的实际应用以下通过具体的评价实施过程来简要说明上述几种方法在远程教育评价中的应用。假设国内现有N所教育机构需进行远程教育成效的综合比较评价，并对评价结果打分、评级。以K市广播电视大学2007年远程教育的有关统计数据为例，评价步骤如下：1.确立远程教育评价指标体系远程教育是一个复杂庞大的系统工程，不仅包括硬件建设，如传输网络、接收终端、教室场地等，还包括软件方面的投入，如师资水平、课件制作、课程服务等；同时，作为教育经济的一个组成部分，还必须分析其投入产出的有效配置，考察它对于经济发展和社会生产力的作用，包括对人才培养、提高国民素质等方面的效果。可见，远程教育评价体系涵盖了各个方面的影响因素，是一个全方位的多角度多层次的复杂分析系统。综合目前国内外针对教育评价常用的评价组织模式及主要内容，可以将远程教育评价的内容分为以下三类：（1）远程教育资源及利用状况。该类评价指标包括远程教育招生人数、远程教育学生毕业率、远程教育成本（生均占有教学成本）、成本收益率（生均年收益）、教学资源（生均图书资料占有比例）、网络教学资源利用效率、提供的课程数量、同步与非同步网上互动的比例、学生完成课程的比率等。该类指标可根据各远程教育机构的统计得出具体数据。（2）学习有效性评价。该类评价指标包括课程教学质量评价、网络学习有效性评价、课程设置满意水平、课程有效性评价、考试评估检验的有效程度、网络辅导与网络交流的教学支持满意程度等。该类评价主要通过对在校学生和毕业生的进行调查问卷的形式获得。（3）社会效益评价。主要包括社会人群对本校远程教育的看法、认可程度，以及雇主满意度调查：远程教育毕业生的专业知识、工作能力体现、课程对职业能力的支持程度等。这类评价也需要通过社会调查问卷的形式获得。因此，结合K市电大2007年的有关统计数据，可以通过对上述三类指标的筛选构造出远程教育评价的指标体系。见表1和表2。

2.利用层次分析法确定各指标因素的权重利用层次分析法的层次性原理、分解协调原理，可以将这一复杂的系统通过层次分解转化成若干个简单的系统，建立起完备的远程教育评价层次指标结构，从而将问题简化，便于评价的具体操作。如表1和表2所示，评价指标分成了两个层次：目标层和指标层。在确立指标体系之后，进行专家咨询，对专家评分的结果进行统计整理，或者通过两两成对的重要性比较建立判断矩阵，从矩阵特征值得出各个指标的权重值。例如，在对K市电大远程教育评价中，通过专家咨询和层次分析确定了对应各个因素u的权重集为：A=（0.04，0.08，0.06，0.06，0.04，0.06，0.06，0.06，0.08，0.06，0.08，0.06，0.06，0.04，0.06，0.06，0.04）3.用模糊综合评价法对研究对象进行综合评价在进行远程教育评价的实践活动中，体现远程教育效果的许多评价指标，诸如学生对网络学习有效性的评价、课程设置对毕业生职业准备的有效性、对学校教学支持的评价、毕业生的受社会认可程度等等，由于评价标准本身的定义就不具有明确的边界，这些评价往往具有很大的不确定性和模糊性，因此得到的结果往往难以具体量化和比较。模糊综合评价法利用隶属函数作为桥梁，能够将对远程教育机构各项指标的不确定性评价在形式上转化为确定性，即将模糊性加以量化，从而产生直观的评判依据。本次评价中的指标因素集为U={u1，u2，…，u17}；评价等级采用莱克特的五点等级法，分为优、良、中、及格、不及格，即评价集V={v1，v2，…，V5}。由表1和表2可见，从因素U8～U17，的评价统计数据可由问卷调查的统计结果确定。而对因素U1～U7的评价数据则需要通过构造隶属函数来确定，即把K市电大的这7项数据跟其他被评价对象的相关数据进行优劣比较，经过特定的计算方式求出这7个指标因素的评价数据（隶属度）。确定了所有指标对于研究对象的权重和评价统计数据之后，就可以建立一个17*5的综合评价矩阵，并通过运算公式计算出综合评价结果。（结果见表3）

设各个评价等级的分数段为：优90～100分，良80N89分，中70～79分，及格60～69分，不及格50～59分，则各分数段的重心分别为95、85、75、65和55。由此可以计算出K市电大远程教育综合评价的综合分数：P=95*0.2952+85*0.5548+75*0.1104+65*0.033+55*0.0066=85.99，属于“良”这一等级。同理，按照上述步骤，可以对N所远程教育机构进行模糊综合评价，根据综合分数的大小对其进行排序、分类和判定等级。4.利用数据包络分析法进行横向比较根据评价工作的需要，还可以利用数据包络分析法进行各远程教育机构间办学效果、资源利用效率、投入产出比的横向比较。数据包络分析法适合于处理这种多种投入、多种产出指标的评价问题，并能够通过相对有效性的比较找出需要改进的因素。通过这种横向的比较，不仅得出效率的好坏、投入产出的有效比例等，还能得出哪些因素需要改进和了解改进趋势，为发展决策提供参考依据。三、几点讨论第一，对远程教育的评价应该采取内部和外部评价人员相结合的组织模式，包括远程教育项目各方面的参与人员：机构管理人员；教职员；学习者；毕业生；雇主等。相关各方人员的参与，有利于保证评价的客观和公正，也有助于保持评价内容的针对性、科学性、适合性及可接受性。第二，各个评价指标的权重分配对评价的结果会产生重要影响，因此在利用层次分析法求解各因素权重的过程中，在专家咨询这一环节一定要慎重从事。要从知识和职业结构、业