基于多元评价的教师授课水平排序方法研究

基于多元评价的教师授课水平排序方法研究

在高等教育体系中，教育、学习、培训、管理和安全五个系统是否能够高效运作，必须与“考法”相结合。教师教育质量评价体系作为大学评估体系的重要组成部分，是评价教师教育是否恰当、教育方法是否正确的重要手段。它也是提高教师教育质量和促进大学教育质量改革的重要手段。应当指出，在教师教育质量评价过程中，评价法长期不到位，存在以科研成果取代教育成就、代替教育时间的现象。即使一些相对成熟的评估方法没有形成科学、合理、有效的比较分析法，也无法获得各方面的认可，因此也难以产生应有的效果。本文的目的,就是建立一个基于多元评价(学生评判、同行评判与专家评判)的、实现全员排序的教师授课质量评价系统,通过排序分析的方式,给出某一时间段上(通常为一学期)所有任课教师按照学生、同行与专家认可度确定的排序结果.1当前分析目前,我们曾经或正在使用的授课质量评议方法约有下列5种,首先我们来分析一下各种方法的利与弊.1.1学生评分法学生打分法是由学生给任课教师按百分制打分的方法,从一定程度上可以了解学生对教师教学过程的认可程度,但也存在着明显的弊端:1教师的得分分布由于大部分学生不愿意得罪任课教师,给分普遍偏高,导致了分值过于集中,大部分教师的平均得分都在97分上下,从统计学的角度来看,其数值已不具备任何比较的意义.2教师为学生土壤打100分不正常现象存一些学员队干部为了与任课教师保持良好的关系,要求学生必须打高分,一些教师也会在私下给学生打招呼,导致全队人员百分之百地给教师打100分等不正常现象的出现.1.2教育的优美性针对上述现象,在2005年前后,曾经试行过同行评议法,试图通过自评与他评(由同一教研组的教师对其它任一教师的教学态度、教学能力、教学质量等方面指标打等第)的方式来区分教师教学的好坏.尽管其出发点是好的,但由于不愿招惹是非以及“你好、我好、大家都好”的心态,教师普遍按照最高等第勾选,使得这一方法最后无疾而终.1.3学生评分法的注意事项学生排序法对所有任课教师按照自己对各教师的教学认可程度进行排序,解决了打分法随意“放水”的现象,是较为合理的一种教学评价手段.但学生打分法也存在着一些难以克服的缺点,需要加以注意:1教师的排序是排论总统一在学生排序法下,和蔼可亲、与学生打成一片的教师容易名列前茅,而要求严格、铁面无私的教师则不易得到认同.如果一切按排序论英雄的话,会在一定程度上误伤认真负责的教师.2教师排序位次的影响由于学时少的课程(例如20学时上下的选修课)重要性相对较小,教师跟学生接触的时间也相对较少,名次很难靠前,故教师排名位次的前后与其上课时数的长短有着一定的关联性.1.4基于成绩分析的绩效评价法针对同一教学班历次考试中平均成绩在所有教学班中的位次变化而设计的绩效评价法,适用于跨学期教学的大型课程(如《高等数学》、《大学物理》等).这种基于成绩分析的评价法,其缺点是显而易见的:1个明证的课堂,能考出差异的成绩,是一个明证学习成绩是由教、学、训、管、保诸方面因素共同作用的结果,再好的教师也不可能解决由于学生学习动力不足、训练安排不合理等因素造成的学生成绩下滑的问题,同一教师同一时间带的不同教学班能考出迥异的成绩,就是一个明证.2再好的教师的绩效从技术层面看,该法无法解决按成绩变化排序的不合理性:再好的教师带了首次考试成绩最好的班,其相对成绩不可能再进步,其绩效只能是零或负值;再差的教师带了首次考试成绩最差的班,其相对成绩不会再差,其绩效反而会是正值.1.5随堂听证实施过程中存在的问题作为专家评价法,目前实行的由各级督导专家随堂听课的方式,对于促进教学质量提高、推进教学模式改革起到了积极作用.但在实施过程中,也显现出一些问题,主要有下列两点:1专家对于“二优两良”掌握情况,是“两优一良”比得更严、形成比较由于督导专家个性的差异,有些专家掌握标准较严,有些专家则掌握较松,导致不同专家的打分没有比较意义,得“二优两良”的不一定比得“两优一良”的差,不具备直接排序的功能.2全员排序困难由于督导专家组人力与精力的限制,难以将所有任课教师的课都听到,给全员排序造成了困难;同时由于所从事专业的不同,督导专家的听课面各有侧重,一些边缘课程得不到及时评价.2也存在着三种评价方法基于上述分析可以看出,各种评价法各有优劣,但学生排序法、督导评价法相对较为合理,同时,类似于学生排序法,我们认为同行排序法也有其可行性.尽管这些方法还存在着这样或那样的缺点,但在大样本情况下其合理性、代表性还是其他所难以替代的.余下的问题,就是如何建立科学、合理的排序模型,将这三种无序的评价方法,改造成为有序的评价模式.2.1a,b比例a,a排序分析的关键在于,如何在最大限度减少信息流失的情况下,将不可排序的多元指标,转化为可比较的一元评价函数.例如,在学生排序法中,我们能得到的是学生将一位教师排在第1、第2、……直至最后一位(设为第n位)的比例a1,a2,…,an,在数学上看就是一个n维向量(a1,a2,…,an).人们曾经尝试过用教师被排在前三位的比例来构造评价函数,但其缺点至少有三条:1)它抹杀了排名第一、排名第二与排名第三意义的不同,将a1,a2,a3的权重看做是一样的;2)它剔除了排名靠后的比例特别是排名最后的比例an的影响,造成重要信息的缺失;3)它忽视了a1+a2+a3的大小是和在该教学班任课教师的人数n密切的,教师数少的班级a1+a2+a3值就相对较大,因为在只有3个教师的班级中,你永远都是排名前三的(反映在数值上,就是a1+a2+a3=1),从而无法用于排序.明白了上述道理,我们就可以来建立数值模型了.2.1.1每一门教师的排名比例表设某学期某教学班共有n位教师参与教学,通过每位学生给每位教师排序的方式,我们可以得到每一位教师的排名比例表(见表1).其中ai是将该教师排在第i位(i=1,2,…,n)的学生占班级总人数的百分比.2.1.2评估函数由于在排序分析中排名越前越好,故我们将基于学生排序的系统评价函数PS定义为且PS是按照下列4条原则构建而成的:1拉格尔间竞争值的上界由于在有n个教师参与教学的教学班中,教师的排名在区间[1,n]上(与n有关),使得不同教学班的教师的排名值无法比较,故通过上式将排名值压缩到区间(0,1)内:使得不同的教师的排名值能够加以比较.2系统评价函数比例表假设一个教学班自始至终只有一个教师上课,则他的排名比例表为系统评价函数值为刚好位于(0,1)区间的中央,符合其既排名第一,又排名最后的地位.3关于各社会主体的系统评价函数值在一个有n名任课教师的教学班上,如果所有学生都把某位教师排在第一的位置,则该名教师的系统评价函数值为如果所有学生都把某位教师排在最后一名,则该名教师的系统评价函数值为两者对称于区间(0,1)的中点0.5.4最短时排最后显然,在只有4个任课教师的班上排第一,不如在有6个任课教师的班上排第一;反之,在只有4个任课教师的班上排最后,要强于在有6个任课教师的班上排最后.注意到上一小节中提到的两个极端数值与区间端点的最短距离是,并随着n的增大而缩小:符合本小节开头所提到的排序原则,故PS的构造是有序的,从而是合理的.2.1.3平均课时数的权重以上是针对一个学期只上一个教学班的情形而设计的,如果一个教师同时负责几个教学班,则他在不同教学班中有不同的排序值,需要将它们加权平均起来.设某位教师某学期共带了m个教学班,各教学班的课时数分别为t1,t2,…,tm,该教师在各教学班所得的系统评估函数值为P1,P2,…,Pm(见表3),则对该教师的最终系统评估函数为这是一个以课时比例为权重的评估函数,课时数少的课程权重就小,无形中提升了教师在少课时教学班上的排名位次,解决了学生排序法对少课时课程排名不利的问题.2.2基于同事分类的评估模型此模型与基于学生排序的评价模型相似,但在一些细节上存在差别.2.2.1基于同一可选择性的教师评价函数pm通过由每位教师给同教研组其他教师排序的方式,得到每一位教师的排名比例表(见表4).考虑到“当局者迷,旁观者清”,为避免教师在给自己评价时定位不准,我们在给同一教研组教师排序时首先把自己排除在外.2.1.2评价函数由于在同行评价中较小名次优胜,我们可以将基于同行排序的系统评价函数PM定义为其中bi是将该教师排在第i位(i=1,2,…,n)的投票教师数占总投票教师数的百分比.系统评价函数PM的构建同样满足归一化、中心化、对称化、有序化这四条原则.2.3每区域专家得分结果标准化前面已经指出,由于督导专家宽严程度的不同,不同专家打出的分值缺乏比较意义.因此,有必要将每位督导专家的打分结果做标准化处理,使得不同专家的打分可用于排序分析.2.3.1样品本容量对pt有相关度的概率统计理论设某位督导专家共听了p次课,打出了p个成绩s1,s2,…,sp(见表6).其中,按照概率统计的理论,当样本容量较大时,PT近似地服从标准正态分布,该数值以99.9%的概率落在区间(-3,3)中,得正值的课相对较好,得负值的课相对较弱.2.3.2平均得分的确定设某位教师一学期被听了q次课,得到q个标准分P1,P2,…,Pq(见表7).则该教师的平均得分就是我们所要的系统评价函数根据每个教师所得的PT值,就可以进行全员排序了.2.3.3改“打勾”,提高督导专家的科学化水平使用标准分的一个最大好处,就是打分时不需要考虑控制打多少个“优”,多少个“良”,因为所有分数都是相对的,不同专家的打分不管是宽是严,标准化后都落到同一区间[-3,3]中去了,这就为打分过程的科学化、标准化提供了契机.建议督导专家改“打分”为“打勾”,听课时严格按照《听查课情况登记表》中的各个二级指标勾选“优”、“良”、“中”、“差”4个评价等级,然后按照表8所示的对应分值,乘以相应的权重,就可以得到每堂课在五分制下的综合评分了.实际上,这样做有3大好处:1)促使督导专家严格按照评价标准来打分,以确保评价过程的科学性;2)避免督导专家按照个人的好恶打印象分,以确保评价体系的指导性;3)避免督导专家打人情分,以确保评价结果的公正性.3基于综合评价函数的确定一个评价函数最后,综合基于学生排序的评价模型和基于专家评判的评价模型,就可以得到我们所需要的综合评价模型.在此之前,我们还需要将上节中所得到的两个评价函数加以改造,使其数值落在同一区间内.3.1分制ps值基于学生排序的系统评价函数为其标准取值在区间(0,1)内,且PS值越小越好,故我们可以通过式子将其转化为五分制下的分值,且分值越大越好.3.2pm值的转化基于同行排序的系统评价函数为其标准取值在区间(0,1)内,且PM值越小越好,故我们也可以通过式子将其转化为五分制下的分值,且分值越大越好.3.3分制分值的转化基于专家评判的系统评价函数为其正常取值在区间(-3,3)内,且数值越大越好,故我们可