一种评卷方案的优化模型

1、一种评卷方案的优化模型窦霁虹，姬利娜（西北大学 数学系，陕西 西安 710069）摘要：针对某些考试不必排名只需归类分级的目的，提出了交错分级淘汰制，建立了多目标规划模型确定该法涉及的参数。该方法减小了工作量，降低了系统误差和偶然误差对评卷结果的影响。关键词：交错分级淘汰法；综合评价值；系统误差；优化模型中图分类号：TB114.1 文献标识码：A文章编号：1000-274X(2004)0086-09社会上的各种等级考试（如大学生四、六级英语口语考试，分A、B、C、D 4个等级）和学校里的各种竞赛活动（如全国大学生数学建模竞赛某赛区要评出特等、一等、二等、三等、无奖5个等级）的共同点是评卷结果不

2、必排名只需归类分级。如何保证结果的公正性和科学性，是一个值得探讨的问题。最常见的评卷规则都是与平均值有关的，如平均排序法和去掉最高分、最低分的平均排序法1。上述方法的共同点是每位评委要给所有的答卷打分，工作量很大；再者，打分时往往出现系统误差。例如，同一批答卷，甲评委平均给70分，而乙评委可能给85分。如此，各评委的打分不在同一可比较的水平上，直接求平均值不科学，而且各评委打分时有偶然误差。针对此类等级考试和竞赛结果无须排名只需归类分级的特点，结合对全国大学生数学建模竞赛某赛区历年来评阅结果的利弊分析，在加权平均的基础上，提出了交错分级淘汰法评卷方案，即依各等级预定的比例，从低等到高等分批归类

3、。设有份答卷，位评委。要将答卷划分等，第等预定的比例为评委对答卷的打分在区间内。当、较大时，可分组评卷。1系统误差的确定系统误差主要是由对同一批答卷各评委所给平均分不同造成的。经系统误差调整后，对同一批答卷各评委给的平均分要相同。系统误差是对整体份答卷而言的，可以用抽样的方法近似求得。抽样单位数的多少决定了抽样估计的可信程度2。定义抽样估计的可信程度。随机取样本答卷份，位评委分别给所有的答卷打分，记第位评委给第份答卷的打分为，则可得一个阶的评价矩阵3，记为A=第位评委给这份答卷的平均分，记为这份答卷的平均分，记为 记第位评委的系统误差为，则有 ，可得2交错分级淘汰法的基本过程2.1计算l份样本

4、答卷的综合评价值第 份答卷的综合评价值，记为，则用加权算术平均法可得 ， 2.2对轮改轮数的讨论假设共进行轮。其中。情形1分等可转化为分等，此时可看作。情形2先将分等转化为分等，此时可看作2.3p=k时的交错分级淘汰法让所有评委围坐在圆桌前，然后对评委依次从编号直至。随机将剩余的份答卷从编号直至。若第位评委给第份答卷打分，则 记为该分值，否则记为0，得一个阶的评价矩阵，记为。如果第份答卷被淘汰掉，记矩阵中第列为0向量，该份答卷不再参与淘汰过程。若第1轮中，按编号从小到大等分答卷 ，各评委给自己分得的答卷打分，第 份答卷的综合评价值，记为，则 。将这份答卷和份样本答卷依据综合评价值排序，大约淘汰

5、最差的份答卷。第2轮中，各评委将手中剩余答卷向右传给下一位评委且尽量保证等分，各评委给新分得的答卷打分，第 份答卷的综合评价值，记为，则 。将第1轮中未被淘汰的答卷依据综合评价值排序，淘汰最差的一部分答卷，和第1轮中淘汰的答卷组成第等答卷。再淘汰最差的份答卷。依次类推直至第轮。记为第轮评委打分的次数。易知。第轮对编号在到的未淘汰掉的份答卷，依圆桌会议的原则，每位评委给自己未曾打分的答卷打分。第 份答卷的综合评价值，记为，则 。依综合评价值，淘汰最差的一部分答卷，和第轮淘汰的第等答卷组成第等答卷。再淘汰最差的份答卷。将第轮的的评价矩阵记为C =第轮将矩阵中的非0元素转化为名次分，得新的评价矩阵D

6、 =由文献5中的评比规则，淘汰最差的一部分答卷为1等，和第轮淘汰的第等答卷组成第1等答卷。剩余的答卷为特等。3对交错分级淘汰法的评估3.1工作量的估计小样确定系统误差打分次，第轮打分次，第轮打分次。不妨假定，编号在到的答卷与编号在到的答卷在每一次，淘汰掉的比例均相同。则，打分的次数大约为3.2抽样估计的可信程度由于计算系统误差时采取样本抽样的方法，故样本答卷的数量多少决定了抽样估计的可信程度3.3偶然误差的影响力偶然误差是因为某种偶然因素导致评委对某份答卷的打分与其正常情况下的打分有偏差，可以通过其他评委的打分减小偶然误差的影响。定义1偶然误差的影响力3.4对交错分级淘汰法的评价 交错分级淘汰

7、法与平均排序法相比,一方面减少了工作量，因为 ；另一方面，以系统误差为权值将各评委的打分调整到同一可比较的水平上，降低了系统误差对评阅结果的影响；此外，轮改在一定程度上避免了偶然误差造成的误判，又逐级淘汰使得优秀的答卷一定能够被选出。交错分级淘汰，在每一轮淘汰过程中，包括两个相邻的等级；每一个等级，在两轮相邻的淘汰过程中确定。这样一来，对那些处于两个等级间不能明确其等级的答卷，在下一轮的淘汰过程中重新复审，在一定程度上体现了公正性。对于水平稳定的评委组，每个评委的系统误差具有稳定性，任意取一个小样本所得系统误差即可近似代表整个评阅过程的系统误差。反之，根据系统误差的稳定性与否也可评价评委的水平

8、。当然，偶然误差还依然会对评阅结果造成影响，如第一轮的淘汰中有可能去掉好的答卷。4交错分级淘汰法中参数的确定为了保证评阅工作的公正性和科学性，一方面要减少工作量，即打分的次数尽可能少；另一方面要保证抽样估计的可信程度；此外，要减小偶然误差的影响力。确定样本份数，轮数的问题转化为一个三目标规划问题。即该问题的决策变量为和，多目标规划问题的求解一般是寻找非劣解。约束法是一种用单目标规划求多目标规划非劣解的方法。本问题中，选第一个目标作为主目标，其余两个目标变为约束，构造成单目标规划问题。因为本问题中的变量和均为离散的量，且有取值区间的限制，故和只能取有限多个值，可以穷举和的组合，即可得到不同约束条

9、件下的单目标规划问题。而只要给定了和就可确定和，进而可得的值。这样近似的求得了非劣集，最后由决策者在非劣集中找出最终解。5 应用实例全国大学生数学建模竞赛某赛区有40份答卷，共5位评委，要评出特等、一等、二等、三等、无奖（比例各占12%，15%，25%，30%，18%）。决策者取的最终解为，此时系统误差的可靠性，偶然误差的影响力。运用交错分级淘汰法的评卷结果见表1。表1 交错分级淘汰法的评卷结果Tab.1 the results of critically reading of the crossing and classifiable elimination system奖项答卷编号特等35

10、，21，18，4，36一等26，9，23，40，38，8二等7，22，16，15，39，14，17，2，27，3三等34，12，31，25，37，1，19，33，20，32，28，30无奖24，11，13，5，29，10，6 任选了5份答卷为样本计算系统误差，5位评委的系统误差分别为：0.952 727, 0.871 259, 1.018 889, 1.024 581, 1.183 226。共改了150份次答卷，平均每位评委打分30次。运用平均排序法的评阅结果见表2。表2 平均排序法的评卷结果Tab.2 The results of critically reading of the sequ

11、ence system according to average value奖 项答卷编号特 等35，21，4，18，26一 等36，9，23，40，27，38二 等31，7，34，8，17，2，3，25，22，15三 等16，39，14，1，32，12，20，37，19，33，24，13无 奖28，30，11，5，10，6，29共改了200份次答卷，平均每位评委打分40份次。交错分级淘汰法相对于平均排序法工作量比值 ，原始数据见表3。对照表1和表2知，两种方法的评卷结果在等级交接处有明显不同，这种不同体现了交错分级淘汰法交错处理那些位于两个等级间不能明确其等级答卷的优越性，将这些不能明确其等

12、级的答卷放在同一轮中评阅，用同一标准去划分等级。例如，第26份答卷与第36份答卷的算术平均值均为87.8，在平均排序法中并列第5名，而特等只能有5份，平均排序法处理此问题容易做出错误的决策；在交错分级淘汰法中，名次分别为24，20，显然第36份答卷应为特等而第26份答卷应为一等。由表3知，对同一份答卷各评委的打分会有很大的差异，直接求算术平均值没有考虑系统误差对评卷结果的影响，这不科学；交错分级淘汰法中，对评委打的原始分以系统误差为权值计算综合评价值，在一定程度上克服了系统误差对评卷结果的影响。例如，第14份答卷各评委打的原始分分别为69，81，78，85，85，第14份答卷的算术平均值为79

13、.6，在平均排序法中为第三等，在交错分级淘汰法中的综合评价值为80.82，为第二等。对照两种方法的评卷结果，对多数答卷的分级是保持一致的，说明平均排序法在一定程度上是公平的，虽然这种公平性有局限性。平均排序法即交错分级淘汰法的状态转移矩阵，记为 X =其中表示平均排序法评为( =1，2，3，4)等的答卷用交错分级淘汰法评为(=1，2，3，4)等的答卷占等答卷的比例。显然由对角线元素知，两种方法所得特等、一等、二等、三等、无奖的重合率分别为：80%、67%、60%、58%、71%。表3 全国大学生数学建模竞赛某赛区评委打分原始数据Tab.3The mark of the papers in a

14、certain province region of the Chinese Mathematical Contest in Modeling评委编号答卷编号12345678910164606381363068737839281878096766690879668375888684646779828363488888790696882849070577859093606592859158评委编号答卷编号1112131415161718192015157516971747187626326570638184787295727535771687878818884797546787898582748

15、8807676568927985859390947482评委编号答卷编号21222324252627282930177748254607574574759295888566809481635873394828375889290696369484758878928687786073597849182849292765761评委编号答卷编号31323334353637383940171656374808255726377292927683979369837692373657171857774847782491858194939579869387585756689969289878990选取的样本答

16、卷不同，所得的系统误差会不同，各评委的系统误差对应一个震荡区间，区间的大小反映了该评委系统误差的稳定性。各评委系统误差的震荡区间分别为：（0.839 8841.070 760）,（0.871 2591.084 337）,（0.920 6731.148 276）,（0.956 1361.118 310）,（0.906 1611.183 226）。各区间长度分别为：0.230 876，0.213 078，0.227 603，0.162 174，0.277 065。参看图1，易知评委4的系统误差最稳定，评委5的系统误差最不稳定。图1系统误差稳定性分析图Fig.1The stability analy

17、sis on the systematic errors参考文献：1 胡永宏, 贺思辉. 综合评价方法M. 北京: 科学出版社, 2000. 45-46.2 李洁明, 祁新娥. 统计学原理M. 上海: 复旦大学出版社, 1996. 253-273.3 陶菊春, 吴建民. 综合加权平均法的综合权重确定新探J. 系统工程理论与实践, 2001,(8): 47-48.4 周义仓, 赫孝良. 数学建模实验M. 西安: 西安交通大学出版社, 1999. 369-371.5 徐飞雄. 评比规则问题OL. , 2002-05-05.6现代应用数学手册编委会. 运筹学与最优化理论卷M. 北京：清华大学出版社，

18、1997. 323-324.7 周希杰. 基础各异的教学班的教学效果评估OL. , 2001-05-05.An optimum model of a critically reading systemDOU Ji-hong, JI Li-na (Department of Mathematics , Northwest University , Xian 710069, China)Abstract: According to some examinations aim for just classifying the papers, not for ordering them, the crossing and classifiable elimination system is given. A multi-objective programming model is formulated in order to determine the parameters involved in the system. The workload is decreased in this system; systematic