公正合理评分方式(共10页)

1、精选优质文档-倾情为你奉上公正合理的评分方式摘要在各种竞赛与考试活动中，由于题目的灵活性和参赛学生的多样性，使得答案多种多样，评委在评卷标准的把握上也就难免产生分歧。为了最终评分的公平公正，我们需要全方面的考虑评委的资历和打分特点，因为每个评委都有自己的评分主观。通过加权等方式，尽可能减小由于评委个人原因而产生的偏差，使得分更加合理公正。针对问题一，为了保证每一份论文有相同的概率分发到每一位评委手里，我们采用随机分配模型。将所有论文随机排布，每篇论文安排3个评委，随机对每一篇论文进行评委匹配。每个评委需要评卷n×3÷m次。针对每个评委的个人特点，通过每个评委的阅卷年数建立权

2、值函数模型模拟得到该评委分数相应的权值。然后将每篇论文的三个评委的打分进行加权平均，求出的的结果作为一篇论文的最终成绩。针对问题二，我们采用了离差比模型。评卷误差是指评分者给的分数与答题者做大结果客观真值之差，这种差异体现在不同评分者评价同一份试卷。为了解决三人平分取均值时误差受专家评分特点或是其他原因影响太大的特点，采用了离差比，进一步修正权值函数模型，加权求平均，求出的的结果作为一篇论文的最终成绩。针对问题三，我们提出使用标准分1来充当一个相对评价量。标准分以平均分为参照点，以标准差为度量单位，将原始分化为具有同一计量单位的分数，这样更能体现评分的公证性和合理性，尽力去掉或减少评卷老师不同

3、带来的成绩的差异和干扰和减少同一份试卷高分和低分的个人情绪干扰。关键词：加权平均、随机分配、多人批阅修正、权值函数、公正合理1、 问题重述信息化条件下，各项成绩的确定往往需要多项指标共同确定，以建模竞赛为例，假设有n篇论文提交，m个阅卷老师，要求每一篇论文需要被3个阅卷老师审阅打分，现实的情况是，不同的阅卷老师的评分标准不尽相同，有的老师阅卷比较严格，每一分都有自己的想法；也有的老师评分比较随意，所有的分都差不多，等等。问题一：建立一个合适的模型，首先确定每一位阅卷老师的具体的阅卷论文是哪些？进而如何将三个成绩规范为一个成绩？最后形成每一篇论文的最终成绩。问题二：在评分过程中，由于不同专家评分

4、特点或是其他原因导致3个成绩差异较大，此时如何修正模型？问题三：你有没有更好的评分策略，提出自己的想法并修改模型。2、问题分析本题研究的评分系统优化问题，对于最简单的评分法则求平均值的方法，其弊端时显而易见的，尤其是仅仅只有三个样本数据。例如：有些评委的起评分比较高，有些评委的起评分比较低；有些评委的高低分差比较小，有些评委的高低分差比较大，有些评委的主观随意性比较强因此，如何更好的利用三位评委的评分，得到作品的一个比较公平公正的得分是该问题的关键，而解决这个问题的核心在于如何确定三个评委分数的权值。对于一个评委个体来说，他的评分可靠性应该是由一些客观的原因表现出来的。因此我们可以通过一定的参

5、数，确定系统所需的权值。这样的参数是由阅卷的阅历因此应对其进行一定的处理。我们假设一共有100篇论文，5个评委进行具体讨论。 对于问题一，我们假设不考虑评委的年龄、反映程度、浏览仪器操作熟练程度等主观因素，以及每篇论文的知识点复杂程度、论文篇幅等客观因素对论文评定效率的影响，为了更加公正的评定，防止评判过程中的徇私舞弊行为，因此对于所有的论文采用随机函数混排。为了提高判卷的效率，对于所有的n篇论文共计n×3=300次评分次数平均分配给5个评委。对于每个评委的历次评卷分数进行纵向的标准化处理，得到每个评委的评卷标准值。对于每篇论文的3个评委进行横向分析，确定每个评委的评分权值，加权求和

6、的结果作为一篇论文的最终成绩。对于问题二，将每个评委的评分特点纳入评分系统考虑的范畴，避免起评分不同、高低分差值不同带来的评分失效，我们可选择模糊集模型，确定绝对不公平评分模糊集和绝对公平评分模糊集，通过对历次最终评分和评委打分的比对，当评委评分与论文最终得分小于一个确定的比对偏差时，我们认定为一次准确评分，统计每个评委在有限次评分过程中的准确评分次数，建立合适的模糊集隶属函数。最终根据隶属函数得到了每个评委的评分可行度，继而修正每个评委的分数权值比重。加权求和得到论文最终分数。这种误差控制方法的关键在于误差控制阈值的确定，目的是使不同评卷员尽量保持评分标准的一致性。大量统计资料表明，大型选拔

7、性竞赛，考生总体成绩合理有效的分布应该是成对称正态分布或正偏态分布。多人在一定规则约束下对一份试卷进行评定时，由于评卷教师都是长期任教，多次参加高考作文阅卷，进行了严格培训与选拔，充分讨论了评分标准，模拟评卷，规范评卷行为，统一基调。由于所有阅卷人员都是独立自主按照评分标准评阅作文，那么所评成绩服从正态分布。即XN（，2）。由模型假设，设X是考生作文的评分，则应有评分的分解式：X =+因为EX=, E=0， D=2 那么一篇作文的评分X的数学模型：X=+N（0，2）其中：是考生作文成绩的理想值，是评卷人员的评分与真值的偏差，的大小反映了评卷老师阅卷水平与对评分标准的理解把握程度的好坏。对任意一

8、篇论文，和是未知的，也是不可测的。造成考生成绩偏差来自，所以的偏差等于考生成绩偏差。设Xi（i=1,2,3）是一篇论文的不同评分，为了使考生的成绩更加公平，应使三人评分的在一定范围内，为此提出区分度A，当做误差控制阈值当偏差估计D=实际分-平均分 /平均值如果三维阅卷人分数偏差D>A时，使用离差比模型，进一步调整各分数的权值。对于问题三的优化，我们发现每位评卷老师所评试卷的均值和方差都不相同。均值的差异体现两位教师的评卷习惯（或倾向），方差的差异体现两位教师的评卷离散度。单独考察一个评卷老师，他所给出的所有试卷的分数，只能代表每份试卷在他心目中的地位，或者说是他所改的试卷在他心

9、中的一个排序，体现在分数上只表示两份试卷的差异性。那么不同的老师给出同样的分，对标准总分的贡献度是不相同的。单独考察一份试卷，分别由不同的老师给分，如果把某个或某些改卷老师换成善于给高分（即均值较大）的老师来改，那么他的绝对分数就会升高，相反，如果换成善于给低份的老师来改，那么他的绝对分数就会下降。但是现在的问题是，绝大多数的试卷的改卷老师都不完全相同，由于改卷老师个人喜好的差异性，用不同阅卷老师给出的原始分数来比较两份试卷的优劣，恐怕就没有多少可比性，这样来比较当然有失公允，所以要体现评分的公证性和合理性，必须考虑下面两个问题：第一，尽力去掉或减少评卷老师不同带来的成绩的差异和干扰；第二，尽

10、力去掉或减少同一份试卷高分和低分的个人情绪干扰问题一解题流程图：问题二解题流程图：3、模型假设与符号说明3、1模型假设(1) 假设论文评分是以百分制；(2) 每个评委评卷效率无差别；(3) 每篇论文评阅所需时间基本无差别；(4) 每个评委评卷标准无巨大变化；(5) 假设A,B,C,D,E，F即为评委姓名，不存在冒名评分的现象；（6）假设评委参加阅卷年数越多，他阅卷准确度越高3、2符号说明Wi1 第i个评委的首次评分权重Wi2 第i个评委的第二次评分权重Wi 第i个评委的最终评分权重 Bi 第i个评委的评分Yi 第i个评委的阅卷年数 Si1 首次权重后得到的平均分数 Si2 二次权重后得到的最后

11、分数ai ai 每个分数相对于首次权重后得到的平均分数的偏差x0 所有老师的方差 i 所有老师方差的均值 a ij 第j个老师给第i份试卷的原始分4、模型的建立与求解4.1模型一： 随机分配模型首先，我们对选定的100篇论文编号1100，运用matlab软件，用随机函数对其进行随机排布（详见附录一）。将六个评委三个一组随机组合，组合随机分配100篇论文。示例如下（其中A,B,C,D,E，F代表六位评委，1100的数字代表论文编号）：4.2模型二： 权值函数模型已知第i个评委的阅卷年数为Yi，所以其首次评分权重为：Wi1=Yi13Yi 那么首次权重后得到的平均分数为:Si1=13Wi1Bi 4.

12、3模型三：离差比模型既然最高分和最低分既不能直接去掉，也不能直接取平均，我们设计了一个方案可以达到调节的作用。即用离差比来作为各位评卷老师的权重，取加权平均值，离差比较大的老师的分数，相应的权重就较小。若具体做法是：第j份试卷由三个评委评分，每个评委所打分数相对于首次权重后得到的平均分数的偏差为ai，ai=Bi-Si1那么第i个老师二次权重为：Wi2=1213ai-ai13|ai|所以第i个老师最终权重为： Wi=12Wi1+Wi2得到最后得分：Si2=13WiBi4.4模型四：标准分模型既然每一位老师给出的分数是体现不同的试卷在他心中的排名的差异，那么如果把分数整体平移也不会改变这种差异性。

13、我们做如下调整，将每位评卷老师的均值平移到同一个基点。这个基点选取所有老师均值的均值（记为xi ，i=1 2，3，n）。每位老师方差的不同导致每位老师所给出的 分对总分的贡献度是不同的，因此我们采用方差压缩的思想把所有老师的离散度（即方差，记为x0）调整到同一水平，这个水平我们选取所有老师方差的均值（记为i）。然后对所有老师所给的分数进行调整。记a ij为第j个老师给第i份试卷的原始分，那么经过这次调整后的分数a ij *为：a ij *=a ij-xii0+x0这样调整后，所有老师的均值都相同，方差也都相同，从而去掉了不同的老师评卷的干扰。这时如果某份试卷任意换一位评卷老师，分数也不会相差太

14、远。5、模型的评价模型一首先进行了任务的分配，采用hash函数的随机分配法则，增加了论文评价过程中的公平度，保证所有的评卷老师所分配到的试卷的质量是相同的，即每位评卷老师所评试卷都与整个母体（即所有试卷）服从相同的分布。也就是说每位老师所评试卷中都有一定量的好试卷、都有一定量的差试卷。分配完评分任务后，我们首先着眼于每个评委，希望通过对其阅卷年数的比较，找到其评分的可靠性，即权值，通过平均加权求和得到最终分数。模型通过评委阅卷年数减少评分老师经验带来的不同干扰，保证了经验丰富、打分准确度高的评委权值大，使最后得分接近选手真实成绩模型二采用了离差比模型，很好修正了模型一的不足。因为模型一中只用阅

15、卷年数来做权值函数，减少评分老师经验带来的不同干扰，但忽视了评委个人主观性对分数的影响。模型二的离差，使与平均分偏差大的分数，所占权值小，修正了每个分数的权值，保证减少了因评委个人打分随意行所带来的干扰。模型三是采用标准分模型，因为每一位老师给出的分数是体现不同的试卷在他心中的排名的差异，将每位评卷老师的均值和方差平移到同一个基点，这样调整后，所有老师的均值都相同，方差也都相同，从而去掉了不同的老师评卷的干扰。这时如果某份试卷任意换一位评卷老师，分数也不会相差太远。这样就可以更加合理排除阅卷老师不同所带来的干扰。6、模型的优化和改进6.1大波动重新评价模型结合实际，我们可以借鉴高考评分的方式，对于一篇论文，如果三位评委评价的分值波动过大，将会被放置进重评集合中。对于整个重评集合，我们可以采用如下两种方法重新评价，进而得到更加合理的评价结果：1、选择更加权威的教员评分；2、采取多人评分取均值的方式。6.2 评委淘汰机制我们可以在原模型的基础之上，对于评分可信度较低的评委采取类似于“末位淘汰”的机制，或者减少其判卷次数的方法，提高整个系统的评分可信度。7、参考文献1 徐子仪，标准分在数学教育评价和管理中