竞赛网评结果的评价与分析

,.2015江西财经大学数学建模竞赛（B题）竞赛网评结果的评价与分析参赛队员:,.参赛队编号：2015年5月22日~5月27日,.2015江西财经大学数学建模竞赛承 诺 书我们仔细阅读了江西财经大学数学建模竞赛的竞赛章程。我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人研究、讨论与赛题有关的问题。感谢阅读我们知道，抄袭别人的成果是违反竞赛规则的,如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。感谢阅读我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处理。感谢阅读我们参赛选择的题号是（从A/B/C中选择一项填写）：精品文档放心下载我们的参赛队编号为参赛队员(打印并签名)：队员1.姓名 专业班级队员2.姓名 专业班级队员3.姓名 专业班级日期： 2015 年 5月 27 日,.,.2015江西财经大学数学建模竞赛编号和阅卷专用页参赛队编号：2015011是否是否愿参参赛队所有数学类与计算机类课程成绩选修在校获加全员姓名（意愿参加全国竞赛者填写）建模奖项目国竞课程赛参赛队员填写评分(百分制) 评阅人最终得分 小组评价负责人阅卷填写，阅卷参专家赛评语者不得填写1、是否选修数学建模：指本学期是否选修了数学建模课程备注2、是否有意愿参加全国竞赛：指参加今年的全国大学生数学建模竞赛，一经选定，不得退赛，否则将建议学生所在学院给予处分。培训时间：2013年8月5日开始。江西财经大学数学建模竞赛组委会,.2015年5月15日制定竞赛网评结果的评价与分析摘 要合理地评价竞赛成绩是一个重要的教育问题，本文定量分析了竞赛的网评结果与最终成绩间的相关性，建立了能合理度量评委基本素质的指标体系，同时还比较了不同题目的评委之间的整体差异。谢谢阅读由于数据文件给出的是网评成绩的原始分，因此需要先将其换算成标准分。为便于解答问题，本文使用Matlab将原数据按照评委序号而非论文序号归类进行排列。谢谢阅读对于问题一，虽然文件未给出最终成绩的绝对分数，但是可以用转化为虚拟变量的获奖名次作为最终分数的代理变量。利用有序多分类的Logistic回归，对网评标准分总分与获奖名次进行相关性分析，SPSS的回归结果表明网评成绩与最终成绩间有显著的正相关性。精品文档放心下载对于问题二，本文从两个方面来度量评委的基本素质：（1）同一评委对不同论文打分的方差大则说明此评委基本素质高；谢谢阅读（2）同一篇论文，单个评委的评分与评委组的评分均值间的偏差的方差小，则说明此评委基本素质高。谢谢阅读当两个指标以相除的方式结合起来时，形成指标体系，指标得分越高则评委素质越高。将其用于附件的评审数据，即可解决问题三。以A附件为例，14个评委的指标得分出现了显著的断面差异。感谢阅读对于问题四，本文先计算每题中每个评委所有评分的方差，用此方差序列表示该组评委的整体状况。再将ABCDE组的方差进行比较，利用多因素方差分析，判断不同题目的评委的整体表现是否存在显著性差异。结果表明，各组评委的整体表现并没有显著差异。谢谢阅读对于问题五，考虑到网评是将论文随机分配给评委的，而评分在某种程度上也属于随机事件，因此可以从网评分数中抽取前3个评委的分数，组成含3个评委分数的“虚拟分数”，用此分数代表不加入网评成绩的总成绩；如果加入网评成绩，则与网评的4个评委分数一起，组成含7个评委分数的“虚拟分数”，用此分数代表加入网评成绩的总成绩。加入网评成绩后，单篇论文由3个评委打分转变为7个评委打分，这样改变了单篇论文得分的“组内方差”，同时也改变了每题中论文总成绩之间的方差，即“组间方差”。借助这种构造方法，本文认为，加入网评成绩会降低组内方差，提高成绩的可靠性，但同时也会降低组间方差，给区分名次造成困难，但权衡考虑，加入网评成绩的精品文档放心下载,.利大于弊。关键字：Logit模型方差分析 虚拟变量 评审方式比较感谢阅读1、问题重述某竞赛的评阅过程分为网评阶段与集中评审阶段。在网评阶段，竞赛论文被随机平均分配给每位评委，每份竞赛论文由四位评委评阅，按照标准分总分排序，前55%的论文进入集中评审。集中评审阶段每份论文由三位评委按“百分制”独立评审，换算成标准分后将每份论文的三个标准分与网评中该论文的平均标准分一起求平均分，即为该论文的最终成绩。谢谢阅读请完成以下建模任务：1、网评成绩与最终成绩的相关性，并对网评结果作出评价。感谢阅读2、给出合理的度量评委基本素质的指标体系。3、建立评价评委基本素质的数学模型，并将其运用于附件中的评审数据精品文档放心下载4、试分析不同题目的评委的整体表现之间是否存在显著差异？如果存在，分析出现差异的可能原因。谢谢阅读5、试分析将网评成绩加入总成绩的利弊，并对如何更有效地利用网评成绩给出建模结论。精品文档放心下载2、问题分析这是一个评价问题，要求对评委素质和审核机制进行评价分析。感谢阅读在处理问题之前，要注意到文件所给数据是按照论文序号进行排列的，而所涉及的问题却集中在评委上，并且标准分的计算公式中，平均分是以评委所评阅的所有论文的平均分，而非同一论文四个评委的平均分，因此需要制作一份将数据按照评委序号来排精品文档放心下载,.列的文件，这样方便计算每篇论文的标准分总分和每个评委给的所有评分。谢谢阅读2.1问题一可以利用回归分析，由于文件并未给出最终成绩的绝对分数，仅给出最终名次，因此只能建立以虚拟变量为因变量的模型。本文选择较为常见的有序多分类的Logistic模型，把一等奖到无奖分别对应3、2、1、0。在解答问题前，要先进行数据预处理，即利用每个评委给每篇论文的标准分，制作一份将论文号与标准分总分对应的文件，将其导入SPSS，即可得出结果。精品文档放心下载2.2问题二需要利用每个评委所打出的所有评分数据。根据常识容易得出：谢谢阅读（1）同一评委对不同论文打分的方差大则说明此评委有鉴别能力，即基本素质高；（2）同一篇论文，单个评委的评分与评委组的评分均值间的偏差的方差小，则说谢谢阅读明此评委的意见是主流意见，即基本素质高。利用这两种方差的商构造指标体系，将其应用与附件，即可得出每个评委的指标值，进而解答问题三。谢谢阅读2.3问题四需要比较不同题目的评委间整体表现的差异，本文将这种差异理解为评委打分方差序列间是否存在显著性差异，这个方差序列是指：同一题目中，某一评委对所有评阅的论文的评分方差，所有评委的方差组成一个序列，通过比较不同题目的方差序列来比较不同题目评委的整体表现。可以借助SPSS进行方差分析，得出方差序列间的差异是否显著。感谢阅读2.4问题五原本可以通过比较不加入与加入网评成绩算出的最终分数之间的方差差异来评价加入网评成绩的利弊，然而问题在于文件并未给出集中评审的绝对分数，因此无法知道集中评审的分数。但考虑到网评是将论文随机分配给评委的，而评分在某种程度上也属于随机事件，因此可以选取网评标准分总分前55%论文的前三位评委的评审数据，用其平均标准分来模拟不加入网评成绩的总成绩。这样带来两方面的影响：感谢阅读1、加入网评成绩后，单篇论文由3个评委打分转变为7个评委打分，这样改变了单篇论文得分的方差，本文称其为“组内方差”；感谢阅读2、进入集中评审的195篇论文，每篇论文的总成绩之间会有方差的变化，本文称其为“组间方差”。精品文档放心下载,.通过比较两种方差的前后变化，即可解答问题五。3、模型假设1、评委在评审时是相互独立的；2、评委评分是一种随机事件；3、评委能公正合理地给出评分，不会打出异常分数；4、每个评委打分服从正态分布。精品文档放心下载4、符号说明表1符号定义X第k号论文的第j号评委打出的原始分k,jY由X换算出的的标准分k,jk,jX第j号评委所评阅的所有论文的平均分j第j号评委所评阅的所有论文评分的方差j第i题的k号论文的组内方差i,kM虚拟变量，第k号论文最终名次k第k号论文的组间方差k第j号评委与第k号论文组平均分的偏差j,kY第k号论文评委组的组内标准分均值kS第j号评委偏差的方差j5、模型建立与求解5.1模型一：有序多分类Logit模型对于因变量水平数大于2时，就不能简单的将其中两个水平单独拟合二分类的Logistic回归，而必须考虑拟合因变量为多分类的Logit模型。如果因变量是有序的，则采用有序多分类Logistic回归。以n水平的因变量为例，假设应拟合n-1个Logit模型，假设n个取值水平的概率分别为P...P，对一个自变量x拟合n-1个方程如下：谢谢阅读1 n此公式中,.logitPx1P...P102nlogitPPx12P...P203n......logitPP...Px12n-1Pn10n

（1）（2）（n-1）与二分类Logistic回归相比，进行Logit变换的分别为P和P+P，即因变量有序精品文档放心下载1 1 2取值水平的累积概率。Logit模型的估计方法属于非线性回归，幸运的是，SPSS软件能够提供有序多分类Logistic回归。感谢阅读5.2模型二：评委基本素质评价模型根据题目，标准分的计算公式如下：YXXk,，jj860k,jjj即为评价指标体系中的第一项，是同一评委对不同论文打分的方差大感谢阅读小，与评委鉴别能力正相关。指标体系的另一项为“同一篇论文，单个评委的评分与评委组的评分均值间的偏差的方差”，首先计算出每篇论文的评委组的评分均值，再求组内每个评委与该组评分均值的差。随后按评委序号进行排列，每个评委对他所评的每篇论文均有一个偏差，求这些偏差的方差，即可得到指标体系的第二项值。感谢阅读偏差的计算公式如下，值得注意的是，这里使用的评分均为标准分，且计算方差是按样本方差的计算公式进行的，再将偏差计算得到偏差的方差S，它与评委基本素质是谢谢阅读j负相关的。 Y Yj,k k,j k=（YY）2/(n1)j k,j k,.为符合直观印象，将 /S作为总体指标，两者相除的商与评委基本素质是正相关感谢阅读j j的，即商值越大，评委基本素质越高。5.3模型三：F统计量要比较不同样本间是否有显著性差异，可以利用方差分析。由于所需要比较的附件超过两个，因此适用多因素方差分析。多因素方差分析使用F检验，其零假设为多个控制变量的不同水平下，各总体均值没有显著差异。感谢阅读F统计量的计算公式为：S2F 控制变量1，2.。。nS2随机变量其中S表示样本方差。对于本题，如果以附件A的评委方差为随机变量，则BCDE的评委方差即为4个控制变量。以上F统计量服从F分布，SPSS将自动计算F值，如果计算得到的相伴概率值小于显著性水平，则拒绝零假设，即表明数据间存在显著差异。精品文档放心下载5.4问题一以附件A为例，先将数据整理为按评委序号排列的形式，如图1，再计算标准分。谢谢阅读图1附件A部分标准分示例将数据导入SPSS，数据含两列，一列为网评标准分总分，另一列为名次，本题的因变量为名次，有四个水平：无奖、三等奖、二等奖、一等奖，分别取值0、1、2、3，谢谢阅读,.如图2所示。则本题的多分类的Logit模型应含三个回归方程。而自变量为网评总标准分，故自变量只有一个。精品文档放心下载图2网评总标准分与最终名次SPSS的回归结果如表2所示，在1%显著性水平上可以认为网评成绩与最终成绩间有相关性，且为正相关。精品文档放心下载表2系数（常数项）标准误P值无名次32.1642.7100.000第三名34.2332.8080.000第二名37.1622.9730.000分数0.1300.0110.0005.5问题二与问题三模型二即为问题二的解答，列出如下：素质指标=

jSj将指标应用与附件A，计算出指标值。如下图3所示，可以看出，评委A10到A09的素质低于评委A07到A12。把此指标已用于其他四个附件，同样可以得出评委间的基本素质情况。谢谢阅读,.图3附件A所有评委基本素质得分5.6问题四对ABCDE附件计算评委方差序列，图4展示了部分AC附件的评委方差序列。本文使用的F统计量，不仅可以比较多因素间的差异，还可以作为单因素方差分析的工具。为便于计算，在不影响结果的情况下，本文只计算了A和C附件的评委方差序列间是否存在显著性差异，这与比较A~E的显著性差异在结果上并没有太大区别。感谢阅读将AC的评委方差序列输入SPSS，检验结果如表3所示。精品文档放心下载图4附件AC评委个人方差,.从表3可以看出，两组间的差异并不显著。因此，可以认为，各组评委的整体表现之间并没有显著差异，说明竞赛组织者较为均衡地分配了评委，没有让不同题目的评委之间出现太大的差异。感谢阅读表3MeanSumofSquaresdfFSig.Square0.360.55BetweenGroups6326.44916326.44903WithinGroups562128.0513217566.502Total568454.500335.7问题五按照问题分析中的方法，首先需要选出网评总分在前55%的论文。以A题为例，精品文档放心下载355篇论文，取55%即取195篇。由于评委打分相当于独立随机事件，因此从网评分数中抽取前3个分数，组成含3个评委分数的“虚拟分数”，用此分数代表不加入网评成绩的总成绩；如果加入网评成绩，则与网评的4个评委分数一起，组成含7个评委分数的“虚拟分数”，用此分数代表加入网评成绩的总成绩。这样带来两方面的影响：精品文档放心下载1、加入网评成绩后，单篇论文由3个评委打分转变为7个评委打分，这样改变了单篇论文得分的方差，本文称其为“组内方差”；感谢阅读2、进入集中评审的195篇论文，每篇论文的总成绩之间会有方差的变化，本文称其为“组间方差”。精品文档放心下载A题数据为例，计算这两种方差，组内方差共195组，加入网评成绩的前后对比图如图5所示。可以清楚地看到，组内方差是减小了的。这样就使得单篇论文的分数更具有可靠性、更稳定。从这点来看，加入网评成绩有利于得出稳妥、公正的竞赛成绩。精品文档放心下载,.图5附件A网评成绩对单篇论文的影响组间方差前后各一组，经计算，不加网评成绩时，组间方差为14.94，加入网评成绩后，组间方差减少至11.84。由于方差减少，使得不同论文间的差别降低了，按照评价评委基本素质的模型，不同论文间的方差减少，是不利于鉴别出优良中劣的。因此，从这个方面看，加入网评成绩可能会使得名次的的判定更困难。谢谢阅读一般认为，进入集中评审的论文应当都是比较优秀的，优秀论文之间的差距减少是合乎常理的。因此，组内方差应该是比组间方差更重要的指标，所以，总体来看，加入网评成绩的利大于弊。感谢阅读但是，本文在这里的处理方法有些缺陷：由于重复使用网评成绩来构造“虚拟”总成绩，会破坏评委评分的独立性条件，也就是说，本文的处理方法相当于默认网评的评委同时也是集中评审的评委。如果在实际操作中，竞赛组织者确实是从网评评委中选派集中评审评委，那么这种构造方法就是合理的。精品文档放心下载6、评价与应用,.本文模型的优点：1、尽量使用定量分析代替定性分析，特别是在最终成绩的绝对分数未知的情况下，将获奖名次数值化，从而得出网评成绩与总成绩之间的相关性；谢谢阅读2、在构建评委素质的评价指标时，全面地利用了已知数据，得出了符合常理的结感谢阅读论；3、在集中评审分数未知的情况下，利用评委打分是独立随机事件这一特点，将网评成绩改造成虚拟的集中评审成绩，从而模拟出加入和不加入网评成绩的过程，从而避免了主观分析。精品文档放心下载本文模型的缺点：1、在使用网评成绩构造虚拟总成绩时，由于重复使用了评委数据，破坏了打分的独立性，但考虑到集中评审评委很可能会从网评评委中选拔，因此此缺点并不是很致命；感谢阅读2、在比较不同题目评委之间的整体差异时，仅考虑了评委评分方差序列之间的差异，而没有从其他角度进行比较。谢谢阅读参考文献[1]杰弗里·M.伍德里奇.计量经济学导论：现代观点[M].北京：清华大学出版社，2009.感谢阅读[2]余敏，刘修生.概率论与数理统计[M].武汉：华中科技大学出版社，2006.谢谢阅读[3]何晓群，