MOOC系统中同伴互评过程的优化和应用VIP

1、    mooc系统中同伴互评过程的优化和应用    三、同伴互评过程模型的评测(一)评测数据来源本文中用于评测所构建的同伴互评过程模型的数据来自cousera的hci(human computer interaction)课程。该课程由斯坦福的斯科特·克莱默(scott·klemmer)教授授课。通过cousera的同伴互评系统，hci每周评价学生提交的作业。cousera系统要求学生在评判其他学生的作业之前，首先要能够正确评判一个用来训练的样品作业。每个学生会评判一次作业任务的五份随机选取的作业，同时自己的作业也会被其他五名同学评

2、判。同学评判成绩的中间值就是最后这份作业的成绩。同伴互评采用匿名制。该类同伴互评的数据组记为hci1。在hci课程作业进行首次同伴互评的评价之后，其同伴互评机制又采用了若干方法进行优化。比如，将进行同伴互评的学生分成了不同的语言组(例如，英语和西班牙语)，从而解决作业被非母语者批改以及“爱国主义倾向批改效果”等问题，优化之后同伴互评的数据组记为hci2。我们收集了7，240位来自世界各地学生提交的13，972个作业，共有63，199个同伴互评分数。经统计，总共有3607个学生属于hci1，3633个学生属于hci2，这些学生大部分都来自美国以外的国家，如表一所示。表一 评测数据描述hci1hc

3、i2学生数36073633每人工作量(份)55总作业数67027270同伴互评分数总量3106732132(二)评测过程本文中所构建的模型，其目的是计算同伴互评中一些相关元素的数据，而这些数据是无法直接得到的。例如某个学生作业的评分偏差和评分者可靠度、其提交作业的真实得分等。实际上就是计算这些元素在所有给定条件下同伴互评结果的后验数据分布。由于这些元素之间都是相互关联的，因此计算后验数据分布是重要的。例如，准确地预测所有评分者对某作业u的评分偏差，能够更好地推断u的真实得分；推断一个评分者v的评分者偏差，需要很好地预测评分者v评价的所有作业的真实得分。这是一个“鸡和蛋问题”。本文在评测过程中采

4、用“吉布斯采样”和“期望最大化(em)”两种推理方法。吉布斯采样可以获得各元素后验数据分布中的相关数据，然后通过统计平均得到各元素的实际值。在“期望最大化”方法中，本文选择真值分数和评分者偏差作为参数，采用迭代坐标下降算法获取其实际值。在评测中我们发现，两种方法的结果是相似的。只是“期望最大化”方法更快速，而吉布斯采样结果更自然。考虑到教师和学生评价习惯上的差异，评测中关于作业真值分数的设定，本文取学生对某个作业评分的平均值作为其真值分数。表二 模型评测结果hci1hci2couserapg1-biaspg1pg2pg3couserapg1-biaspg1pg2pg3rmse7.955.425

5、.405.405.306.434.844.814.754.73偏差5%51696971705972737374偏差10%81929494958896969797平均偏差7.235.004.964.924.776.194.574.524.534.52我们分别用hci1和hci2组中的数据，通过两个步骤的迭代，生成本文各模型的评价结果，以cousera系统生成的评价结果进行比较，来评测本文各模型的优劣程度。1.为了可以获得更为可靠的评分者偏差和评分者可靠度数据，用除相关作业同伴互评数据以外的所有其他数据来进行预测。2.从hci1和hci2数据组中，某个作业同伴互评数据中任意选用4位学生的评分，来模

6、拟形成该作业的同伴互评评定成绩，并记录其与真值分数的差。对于每个作业，分别用不同的模型算法做1500次此类模拟，然后计算所有模拟结果相关的四个数据：它们的方均根误差(rmse)，它们与真值分数分别偏差5%以内、10%以内的数量，它们的平均偏差。(三)评测结果如表二所示，我们将通过模型一简化版、模型一、模型二和模型三计算所得的四个相关数据项，与通过coursera平台的同伴互评系统所得到的相应结果进行比较.可以看到，在同伴互评准确率的提高方面，与coursera平台系统相比，模型三和模型二的效果较好。其中，由于考虑了更多的相关元素，模型三的改进效果最好。对于hci1和hci2数据组，其方均根误差

7、(rmse)分别降低33%和31%；与真值分数的偏差在5%以内的数量分别提高19%和15%；与真值分数的偏差10%以内的数量分别提高14%和9%，平均偏差也大大减小。经验证，如果将选用学生评分的个数从4个增加到5个，对于hci1和hci2，模型三的方均根误差可以分别减小到4.36和4.19。四、同伴互评模型的实际应用对于以上所研究的同伴互评过程模型，如要在本土化的mooc系统进行实际应用，应采用改进效果最好的模型三。假设有一命题作业a，共有n名学生提交了相关作业，作业集设定为u, u=u1，u2，un。所有学生都依据课程教师制定的评分规则对除自身作业外的所有作业评分。如此每个作业ux(x=1，

8、n)都会得到n-1个评分，记为suxi(x=1，n，i=1，n-1)，互评分数集记为s。各作业ux最终互评成绩的生成应按以下两个步骤实施。1.评分者的筛选在模型三中，考虑到评分者自身作业得分对评分者可靠度的影响，认为自身作业得分高的评分者，其对他人作业评价的评分者可靠度也高，所以在利用模型三进行同伴互评分数合成前，首先要进行评分者筛选。筛选过程如下：在前面模型评测过程中我们发现，某个作业学生互评分数的算术平均值非常接近该作业的真值分数，因此可以取ux所获的n-1个评分的算术平均值为学生x所提交作业的初始真值分数，记为 ，形成该作业的初始真值分数集。随后，按照本文中对模型三评测时的取值数量，在中

9、选择分值最高前5个，其对应的学生x作为该作业的合格评分者。2.最终分数的合成将选取的5个合格评分者对作业集u中n份作业的所有评分，作为作业a同伴互评分数的输入数据源，利用模型三规定的算法机制得到每位学生提交作业ux的最终成绩。依据本文模型三针对作业a的整个同伴互评流程如图1所示。图1 模型3同伴互评实现流程以上流程可以通过数据库技术、web页面呈现技术、php技术和java脚本编程等生成同伴互评模块，组合到mooc系统中，实现对学生提交主观题作业的同伴互评过程。五、讨论与展望本文构建的模型通过重点关注与评分者相关的一些主要元素(包括评分者偏差和评分者可靠度)及其相关特性，可以使在学生规模较大情

10、况下的同伴互评系统得到的结果更加可信、精确和有效。与相关成熟运用的同伴互评系统相比较，本文构建的模型在提升同伴互评系统整体效果方面最高可以达到30%。在此基础上，在mooc系统中，如果要将主观类试题作为对于学生学习效果的形成性和终结性评价的主要形式，同伴互评可以作为一种非常有效的实现手段。同伴互评机制的设立不仅使得主观类试题得到有效的评估，同时同伴互评反馈活动有助于培养学生批判性思维能力，激发学生学习兴趣，降低学习焦虑感，增强其纠错能力，进而提高学习效率。匿名同伴互评反馈活动能够对评测结果做出更直接、更真实的反馈。本文相关模型的进一步优化工作包括增加新的关注元素，比如，对于全球开放的课程，还需

11、考虑到评分者的语言和文化背景，还需考虑到评分者评分时的关注度高低，还需要制定公正而又具有激励效果的评分机制。参考文献：1陈肖庚，王顶明.mooc的发展历程与主要特征分析j.现代教育技术，2013(11)：5-10.2郝丹.国内mooc研究现状的文献分析j.中国远程教育，2013(11)：42-50.3周洪宇，鲍成中.第三次工业革命与人才培养模式变革j.教育研究，2013(10)：4-9.4顾小清，胡艺龄，蔡慧英.moocs的本土化诉求及其应对j.远程教育杂志，2013(05)：3-11.5陈茂庆，李宏鸿，高惠蓉.名著阅读与同伴互评j.外语教学理论与实践，2013(01)：71-78.6莫俊华.

12、同伴互评：提高大学生写作自主性j.解放军外国语学院学报，2007(03)：35-39.7k. ashley & i. goldin. toward an enhanced computer-supported peer review in legal educationa. in 24th international conference on legal knowledge and information systemsc, volume 235, 2011.8i. goldin. accounting for peer reviewer bias with bayesian mod

13、elsa. in proceedings of the workshop on intelligent support for learning groups at the 11th international conference on intelligent tutoring systemsc, 2012.9i. m. goldin & k. d. ashley. peering inside peer review with bayesian modelsa. in proceedings of the 15th international conference on artificial intelligence in educationc, aied11, pages 90-97, berlin, heidelberg, 2011. springer-verlag.10a. a. russell. calibrated peer review-a writing and critical-thinking instructional toolj. teach