浅谈如何建立质量监控体系

浅谈如何建立质量监控体系

质量是自学成才考试（以下简称“自学成才”）的生命线，是自我资格证书为社会接受信任的基本保证。如何监控及检测自考质量并建立较完整的质量监控体系,是目前自考管理工作中急需解决的重大课题之一。一、提案质量监控命题是自考的一个基础性环节,命题质量监控是整个自考质量监控体系的基础。1.科学的命题计划各课程的考试大纲是自考命题的基本依据。对命题内容进行监控的目标,是使所命的试题符合考试大纲中有关考查目标和考查内容的具体规定。对自考命题内容进行监控的基本方法是,采用“命题双向细目表”(以下简称为细目表,见表1)。它是一种体现考查目标的各细目和考查内容的各细目以及它们之间比例的命题计划表,这是科学命题的基本标志之一。用科学方法编制的细目表(该表的编制方法可参阅一般的教育测量书籍),是自考命题科学化的标志之一。它有下列作用:(1)明确地回答了该课程的考查目标和考查内容是什么的问题;(2)明确了所要考的基本内容体系与能力层次体系;(3)客观地体现了各考查细目之间的主次关系或重要性序列,以及试题的覆盖面;(4)正确地反映了考试的内容效度,即切实按细目表的要求命题,可确保该考试具有良好的内容效度;(5)是该课程考试中建立题库的基础,因为建立题库时首先要按细目表的要求对题目进行分类排序入库,命题时才有可能按细目表的要求指令使题库自动成卷。2.针对综合考查目标,进行“分”评分标准对命题质量进行监控的目的,是使所命试题在整体上符合细目表的基本要求,即符合已公布的考试大纲的基本要求。其检测步骤是:首先,编造1个如表2所示的试题核检表。它是在表1基础上略加改造(仅增加“题号”1项)。其次,另外请课程专家或有经验的教师(不含命题者),根据考查目标及其层次的界定,逐题对各个考查目标在“达到什么考查层次”的问题上作出独立的评判,在所评判的层次栏记下题分。对考查内容的评判方法亦类似。最后,用表2中每个层次的“题分合计”值除以表1细目表中对应层次的“合计”值,便得到表2中该层次的“吻合率”。如果每个层次的吻合率均在90%以上,则可评价命题质量良好;如均在95%以上,则可评价命题质量为优。3.按细目表的要求,科学组卷,按目这也是命题质量监控的基本方法。因为建立题库时,各试题均要按上述细目表的要求,即按考查目标分类细目或考查内容分类细目入库;用题库命题时就能够按细目表的具体要求,指令计算机在题库中自动组卷。由此而成的试卷不但合乎上述命题细目表的基本要求,而且可确保“考教分离”。二、质量指标及标准在现代社会里,任何一个正式的、郑重的或负责任的考试都要向社会报告其质量指标。我国从1985年在广东试行普通高考标准化改革试验开始,每年均向社会报告自己的考试质量指标。这既可使影响到千家万户的普通高考主动接受社会的监督,汲取各方面有关改进和提高考试质量的意见,赢得社会的信赖;又可促使普通高考管理机构和命题者十分重视考试质量,并采取各种有效措施不断提高考试质量。我国的自考必须向普通高考学习,大力开展这方面的研究,制定出一套反映自考特点的考试质量指标及评价标准,改变目前不重视报告自考质量指标的缺陷。笔者认为:根据自考的特点和目标参照性考试的有关理论与方法,并参照我国成人高考的质量指标及标准和普通高校全日制课程统考的质量指标及标准,可制定出自考的质量指标及标准:1.效度。是考试考到了所要考东西的程度。由于自考属目标参照性考试,故其效度主要指内容效度。上述的细目表中已体现了要考的东西,而上述对命题质量检测的方法实际上就是检测内容效度的方法。2.信度。是考试结果可靠性和准确性的指标。在成人高考中整卷信度要求在0.8以上,而在普通高校全日制统考课程中整卷信度一般要求在0.7以上。根据自考与普通高校全日制统考相近的特点,把自考的整卷信度定在0.7以上应是适宜的。3.难度。是反映整卷或试题难易程度的指标(一般用得分率或通过率来表示整卷或试题的难度)。在目标参照性考试中主要关注整卷难度。成人高考的整卷难度一般控制在0.55左右(0.5至0.6之间),普通高校全日制统考课程的整卷难度一般控制在0.70左右(0.65至0.75之间)。根据自考偏于成人高考的特点及鼓励学生自学的需要,自考的整卷难度可参照成人高考的做法即亦控制在0.60左右应较为适合。4.区分度。是考试结果区分不同能力层次考生的程度。在目标参照性考试中主要关注在合格分数线左右的区分度,即在合格分数线左右的分数段之间(如50分至60分之间)要具有较高的区分度,以0.35以上为佳。上述是评价自考的质量指标及标准。其中一些量值范围仍可进一步研究和商榷,但据教育测量有关理论和笔者多年从事各项考试改革研究的实践,可以肯定,符合上述质量指标及标准的自考质量是良好的。此外,用题库命题也是考试质量监控的基本方法。由于题库中的试题是经过检测或等值处理后才入库的,试题均含有具体的质量参数,因而可按一定的质量指标标准指令计算机组卷,使所命的试题在整体上合乎上述各项指标的要求。三、考试难度的控制措施由于自考是目标参照性考试,而自考生往往以考试合格来证明自己达到课程标准的基本要求,因此课程合格分数线显得尤为重要。那么如何科学地制定所某门课程的合格分数线呢?上述细目表中的考查目标和考查内容仅属定性指标,还必须有一个“量”的指标,这个“量”就是各细目的“达成度”。而这个“达成度”与考试的难度密切相关。因为不同的考试难度体现了不同的“达成度”,引发出不同的考试合格率,因而必须对考试的难度加以控制。不管试题的难或易,均以60分为合格分数线,显然很不科学。一般而言,考试难度要依据考试的性质而控制在适当的范围之内。例如,大规模选拨性考试(如普通高考)的难度一般控制在适中范围。那么如何把自考的合格分数线定在适当的范围呢?1.测定难度适当的试卷的标准与所考成绩的测试卷对照在每门自考课程中选聘1-2位有经验的课程专家,其任务是专门审题和把握试卷难度。他们要在已考过的试卷中选1-2份公认为难度适当的试卷作参照,把每次所命的试题与这份参照卷对照,判断其难度是否相同或很接近。如不相同,则必须作有针对性的修改或调整。这实质上是专家对考试难度作了经验性控制,也较简单易行。2.不容易选准效标所谓60分合格,一般是指建立在考试难度适当基础上的。然而,什么是“难度适当”?不同的人有不同的理解和把握,在具体命题中也不易把握和统一;即使用题库命题,也由于每年自考生群体的变化和自考生学习水平的波动,在考前也难以准确预测。于是,人们便探讨用统计方法来控制或调整考试难度。目前常用的统计控制法有:(1)效标控制法。这种方法是在一个参加某课程考试的群体里事先选定若干个学生作为评判合格与否的标准(这几个学生及其考试成绩就称为效标)。具体做法是:事先选定几位被公认为该课程学习处于基本合格和基本不合格之间的学生,考试后计算他们考试分数的平均分(X),那么,这个平均分(X)就是该门课程考试的合格分数线。显然,效标控制法是从实际出发,把经验判断与统计结果结合起来;如果效标选得恰当,则所制定的合格线还是比较准确的。效标法的关键是选准效标,尤要注意“基本”这两个字,即选择刚好合格和刚好不合格的两部分学生。其次,要注意从自考群体及教学水平都比较稳定的教学点中选择效标,这可确保效标的有效性。但由于自考课程教学点往往较多且教学水平不一,各人对效标的看法还不大一致,因而也不容易选准效标。(2)标准分控制法。由于多种不定因素的存在,因而考试难度一般在考前较难预测和控制,那么能否能以考后的实际难度为依据来适当调整合格分数线呢?这在统计上却是不难做到的。假定有同一层次的高校普通班和自考教学班混合在一起,进行同一门课程的考试(它们均属目标参照性考试);若统一制定一条合格分数线,则有一个明显的事实是:高校普通班中往往“中下”以上的学生成绩为合格,而自考班中往往只有少数“中上”以上的学生成绩为合格。这是由于他们虽属同一层次,但入学起点不同、学习基础也不同所致。这就启发我们,在自考生的考试群体里也可把“中上”的位置,作为制是合格分数线的依据,也符合自考课程难度以同层次的高校普通班为基本参照的规定。根据这一定性描述,在统计上对“中上”具体位置可表述如下:若对正态分布曲线下的横轴(即标准分范围-2.5至+2.5)进行五等分(如图中所示分成优、良、中、可、差),则每等长度为1;“中上”级(对应于图1中“良”级的位置)在统计上可表述为≥X+0.5S。根据上述分析,自考合格分数线的一般表达式为X+LS,其中L值是据表3中的百分比来选定的标准分;这个百分比正是考试机构在调查研究基础上制定的所要控制合格人数的大致比例。标准分与合格人数比例(根据正态分布中百分位与标准分的对应关系确定)的对应可参见表3。在表中可见,若把标准分定得小些(如0.3),则合格人数相对多些(38%);若把标准分定得大些(如0.7),则合格人数相对少些(24%)。表3中的比例是在正态分布下取得的数据,仅为我们提供一个大致的参照。但只要统一使用表3中的某个标准分(比如0.5)作为合格线,则尽管各科的合格分数相对考试难度而变化,但合格人数的比例则是变化不大的,而且还可以通过计算机来确定合格的学生,减少人为因素干扰,具有客观性。当考生群体水平相对稳定或变化不大时,固定某个L值(如0.5)进行难度控制不失为一个好方法;而当考生群体水平发生变化时,依据表3调节L值后,它仍是一个较可行的方法,因而又具有可控性。笔者通过对所抽样的23门自考(独立办班)课程,用固定60分的方法与固定L=0.5的标准分控制法进行比较研究(见表4)。从中发现:前者中合格人数的比例五花八门、没有标准、各行其是,最高为97.5%、最低为27.5%;而后