阅卷管理与监测系统

1、阅卷管理与监测系统        大规模考试作文评分研究系列之六     上文说过，大规模考试中作文评分的误差控制包括三个不可缺少的基本环节，这就是评分标准、评分方法 和阅卷管理。监测系统是阅卷管理系统中一个有特殊意义的组成部分。一次大规模作文考试，如果没有一套完 善的管理制度，没有一个有效的监测系统，则任何评分标准的厘定、评分方法的改进都只是一句空话。     在测试研究中，考务管理是一个专门的领域；在测试机构中，考务管理是一个有特定职能的分支机构。考 虑到本刊的

2、读者对象，以下只作约略的概述。     大规模作文考试的阅卷管理系统     大规模作文考试的阅卷管理系统应承担以下三个方面的职责：阅卷的业务领导，阅卷人员的行政 管理，阅卷质量的监测。在现阶段，我国比较完善的阅卷管理程度可以示意如下：     作文阅卷管理示意图     （附图 图）     现代科技的发展，为作文阅卷的管理提供了重要的辅助手段。借助这种手段，阅卷管理的主要工作有：     试卷的随机编排 

3、0;   试卷的随机编排就是把不同学校的考生打乱混合排列。有了电脑，这项工作在技术上是不难解决的。重点 学校与非重点学校之间，水平可以相差很大，如果不解决随机编排问题，则监测系统的数据将失去代表性，既 使得这些数据缺乏应有的说服力，也容易出现盲目的调控。有了随机编排，不但阅卷员的评分状况能够得到比 较客观的反映，而且就阅卷员本人来说，由于一本试卷（即同一考场中）兼有各类学校的考生作文，可以大大 减弱评分心理的位置效应（参阅系列之一）。此举可以消除评分的系统误差，即各校的平均成绩与其实际 水平大体接近，但还不能遏制评分的随机误差（参阅系列之一文末注释）。  

4、0;  阅卷员的选择与培训     系列之三所披露的数字表明，阅卷人员决不是“年龄大、职称高”才好。阅卷队伍的形成应该是一个 选择的过程，由于大规模考试作文评分的特点与困难，阅卷者应该是一支半专业化的队伍，为此，需要逐步建 立阅卷人员档案。“高考作文评分误差控制”课题组的试验省分有的正考虑实行“阅卷员证书”制度（国外已 有），这是条很有价值的措施。     在选择阅卷人员的基础上还要进行培训。以下两项调查反映了短期培训的效果。     调查     取各类作文篇，名

5、阅卷员在培训前后两次重评。结果如下：     培训前 培训后 篇平均标准差 总体标准差     可见经过培训，阅卷员评分的一致性有所提高，在拉开分数距离方面情况有所改善。     调查     取各类作文篇，分成对等两组，名阅卷员先评第一组（作为培训材料），相隔日再评第二组， 结果如下：     第一次 第二次 篇平均标准差     观测结果与调查相近。     培训可以有两种方式：短期

6、集中培训，结合阅卷过程进行。后者一般都与样本卷讨论和典型卷讨 论合并进行，将在下面专门介绍。     样本卷的选定及其策略     即使有了比较完备的评分参照量表（参阅上期），每次大规模考试的样本卷仍是不可少的。这是因为每年 的试题都有其个性，有其需要特殊处理的矛盾，需要根据当年试题情况编制样本卷系列予以解决。     样本卷的功能，一是使评分标准明确化、具体化，二是针对影响阅卷稳定的心理因素予以尽可能的控制。 因此编制样本卷系列，在着眼点方面，在策略方面，和参照量表的编制可以有所不同。参照量表的编制要遵

7、循 “等距性”原则，即各典型例卷之间，如果按百分制计算，其分距大体上是相等的；样本卷系列的制订，则可 以进一步着眼于“分界线”和“分歧点”。 a>考试如果没有一个有效的监测系统，则任何研究、条例和改进措施将毫无意义。我国长期惯用 的“复查”就是一种监测方法，不过随着科技手段的进步，监测手段日益丰富，怎样借助科技手段来发展监测 系统就成为人们研究的一个课题。     科技手段应用于评分监测，有“隐形笔”等注，不过目前主要是电脑。国外有利用电脑直接进行调控 的，即以试卷中某些客观性较强试题的得分为参照系，如果发现某地区或某阅卷员的主观题给分与其它地区或 其他阅卷

8、员的评分平均值相比明显偏低或偏高，可以通过数学方法加以调整。我国英语高考也曾采用过这种方 法。但语文是一门综合性很强的学科，其测试也属于异质性测试，经过多次测算，各试题（包括作文）的得分 之间没有必然联系。即以写作能力而论，母语和外语不同，母语作文的能力层次要求大大高于外语，高层次能 力（如立意）与低层次能力（如书写）之间，得分也没有必然联系。因此用其它试题作参照系的方法就作文评 分而论是不科学的，也是不可取的。再就各阅卷员之间的评分来说，由于评分对象的差别（例如一市集中阅卷 ，各区之间的水平就会有所不同），很难据此就作出“偏严”、“偏松”的判断，如果骤然利用电脑直接调整 ，很难避免盲目调控。

9、因此，至少就作文评分而言，机器只能及时发现问题，最后的裁断还必须由人工（专家 ）来做出。     当前，利用电脑监测主要有以下几种方法：     指标监测     用以监测的指标主要有“平均分”和“标准差”。平均分可以显示出阅卷者给分有没有偏高或偏低的问题 ；标准差显示给分的离散程度，显示出有没有“打保险分”的趋向。将阅卷员每日每份试卷的给分及时输入电 脑，如有问题，就可以及时发现。     参照系监测     由核心组先随机抽阅一批试卷，将数据

10、输入电脑，以所形成的曲线作为参照系。参照系有允许浮动的一定 幅度。阅卷员每日评分结果在图形显示上如果超越了幅度，电脑就能及时检出以备复查。     “暗点”监测     即由核心组随机抽阅一批试卷，秘密输入电脑，阅卷员评此卷时，如果给分差距过大，就能及时发现检出 ，显示该阅卷员所评其它试卷也可能存在问题。本方法原理虽然简单，但颇为有效。     内部相关监测     这是我国试验分项评分时所创造的一种方法。其原理是各分项得分之间往往具有一定的相关性，由此设计 了数学模型，把测

11、算结果称为U值。U值过大或过小，都可以提供信息供复查组审核、裁夺。此方法年 在河北省试验与指标监测法同时采用，当年结果如下（X拨为平均分为标准差）：     试卷 增加分 减少分 增加分 减少分 平均每     袋数 数篇数 数篇数 数总和 数总和 袋改动 X拨出线 出线 U值小 U值大     说明：平均分低于控制线的袋，经复查，分数变动，平均每袋分；高于控制的袋， 分数变动分，平均每袋分。     U值方法尚在进一步完善和论证的过程之中，但实践证明它在发现问题方面是有效的。由此也可以看出，在 平均分、标准差均未出线的范围内还存在着大量误差，需要研究对策。这也正是作文评分监测系统科研的任务 。注该笔书写的符号，只有借助特定灯具才能显示