计算机辅助英语口试中评分信度分析,英语论文

计算机辅助英语口试中评分信度分析,英语论文主观题的评分方式方法主要有整体评分法〔holisticscoring〕和分析评分法〔analyticscoring〕。整体评分要求评卷员对考生的答题质量进行全面的评估，给出一个整体分数；分析评分则要求评卷员对试题考察的每种技能给出单独的分数〔Chi2001〕。评分信度是两种评分法的关注重点，相关研究结果也不尽一样。Klein等〔1998〕发现两种评分法信度相当，对学生排名影响甚少。Barkaoui〔2018a〕使用定性分析法观察评卷员的表现，发现整体评分让评卷员更关注学生的答卷，而分析评分使评卷员更注意评分细则；Barkaoui〔2018〕的研究还显示整体评分具有更高层次评卷员间信度，分析评分虽出现更大评分差异，但评卷员内信度更高层次。穆倩倩〔2018〕以为，分析评分在测试低水平学习者的写作能力时有更高层次的评分信度，而整体评分则在测试高水平学习者时信度更高层次。一些研究则表示清楚分析评分优于整体评分，这些研究发现分析评分法具有更高层次信度〔Goulden1994;洪佳敏2018〕，能为老师提供更多信息〔Bacha2001〕，评分严厉度更稳定〔Chi2001〕，能更好地促进学生白话能力发展〔Tuan2020〕，很好区分出考试的写作能力〔Wiseman2020〕等；HarschMartin〔2020〕的研究还表示清楚整体评分会掩盖一些差异，尤其是评卷员怎样使用各种评分指标的细节。当然，Xi〔2007〕也发现托福口试中分析评分实际上不能提供比整体评分更多的考生能力信息。冯蕾、高淑芬〔2020〕则建议写作评分宜整体评分和分析评分相结合。总的来讲，分析评分法使评卷员更注重考察技能的每个方面，具有更高层次的信度，但费时费力〔Weigle2002〕；整体评分法操作简单，效率较高，但评卷员的评分侧重点往往不同〔Nakamura2002〕。在使用方面，试题强调考生的全面能力时，人们常用整体评分法；试题侧重检查考生对完成任务的各种技能的把握情况时，分析评分更为适宜〔Kleinetal.1998〕。实际运用中，整体评分法多用于大规模考试，因培训评卷员更为方便且评分速度相对较快；而分析评分法常用于课堂测试，因评分结果可帮助老师诊断学生的学习情况〔Chi2001〕。当前国内外的一些大规模考试都含有白话考试。〔IELTS〕口试使用分析评分，主要包括流利连贯、词汇使用、语法使用和语音语调四个方面，关注语言质量〔BrownTaylor2006〕。托福〔TOEFL-iBT〕口试采用整体评分法，包含四项评价指标〔综合描绘叙述、表示出传递、语言使用和主题发展〕〔Alderson2018〕。大学英语四级考试白话考试〔CET-SET〕采用分析评分法，从语言准确性和范围、话语的长短和连贯性、语言灵敏性和适切性，分四个等级对考生介入不同形式的口头交际的表现打分。英语专业四级口试也采用分析评分，从内容、语音语调、语法与词汇三个方面，分别评定考生等级〔优秀、良好、及格、不及格〕。现有研究主要讨论写作考试的评分，讨论口试，十分是基于计算机口试评分的研究还很少。国内一些大型考试已增加口试，考试形式也由过去的考官和考生面对面考试改为基于计算机的人机对话考试。评分根据考生的答题录音进行，评分方式也由以前的当面打分改为在专门的计算机平台上打分，降低了评分耗时。英语口试一般需要人工评分，评分标准是影响评分结果的主要因素，而且评分带有一定的主观性，评分信度一直是人们关注的焦点。分析评分信度较好〔Weigle2002〕，因而，有必要研究分析评分在大型计算机辅助英语口试中能否也具有较好信度。本文旨在回答下面三个问题：1〕分析评分与整体评分的结果能否有差异?2〕分析评分的评分员一致性怎样?3〕分析评分的分数维度差异怎样?2.研究方式方法2.1介入对象本研究的数据为国内某大型计算机辅助英语口试的评分记录。介入该考试的考生为某省报考高校外语专业的高三学生，英语总体水平偏高。每年考试人数约为5万人。该考试为能力水平考试，分为两部分：听力和白话。白话部分范文。可与评卷员11和13重评有问题的试卷，并找出评分失误的原因。在8位分析评分评卷员中，评卷员4最宽容，严厉度为-2.19〔表1〕，因此应提醒该评卷员适当增加评分严厉度。评卷员9太多使用了分数较低和较高的范文，并与其讨论评分结果。4.3分析评分的分数维度差异怎样内容和语言差异明显比流畅度和语音语调差异大。有评卷员反映，判定考生能否回答了所要求的内容比拟考验评卷员的记忆力，听的时间越长，越容易忘记考生前面的讲话，回过头再听又费时，操作费事。对语言项打分时，有的评卷员往往只根据考生的前面几句话作出判定。相反，考生的流畅度和语音语调很快能够判定准确，较为容易打分。因而，评卷员培训的重点应该放在内容和语言两个分项上，采取技术手段协助或必要时强迫要求评卷员听完考生所有录音。与整体评分相比，评卷员使用分析评分各等级准确度更高层次。但评卷员对高水平考生判定准确度不如低水平考生。评卷员的英语熟练程度可能是影响其评分误差的因素之一〔Lee2018〕，英语水平不高的评卷员可能没法准确区分能力较高的考生。因而，整体评分法对评卷员的英语水平要求可能比分析评分高，需要进一步研究确认该推断。考生最难获得最高等级分数的维度是语言。然而，数据分析结果显示语言在一定程度上决定了考生在其他侧面的分数。5.结论传统的做事测试的评卷方式是评卷员基于纸笔进行评分，随着当代技术的发展，基于计算机的评卷系统不断出现。研究也表示清楚基于计算机的评卷不但有与纸笔评卷同样好的信度，而且能够提高评卷质量，更有利于评卷质量的监控，加强试卷分发的随机性、隐蔽性〔Chuangetal.2008〕。本文使用真实考试数据，分析某大型计算机白话考试分析评分的效果。该白话考试举行集中评分，有利于对评卷员进行统一培训，评卷工作在数天内完成。评卷员在适当的培训后基本能较好适应和使用计算机评卷平台，使用分析评分比整体评分耗时较多，但在熟练把握评卷技巧后，这种差距明显减少。进行整体评分时，评卷员没有能足够关注话题陈述的完好性，评卷员在两种评分方式方法下都具有显著差异，使用分析评分时差异较小，评卷员内部一致性也较高，使用整体评分法时较易出现集中趋势；评卷员在内容和语言分项较难达成一致，对高水平考生评分的准确度较低。今后评卷员培训应着重加强评卷员对内容完好性和语言准确性两方面的理解和判定，强调口试评分中更多关注考生进行信息表示出的能力，而不只是语言形式和流利度。然而，在屡次评卷员培训中，笔者发现无论怎样强调信息表示出的重要性，有些评卷员在讨论中还是不知不觉将注意力太多放在语言形式上，这可能与我们国家英语教学长期强调语言准确性学习有关。本研究结果表示清楚，基于计算机口试评分使用分析评分较为适宜：使用分析评分能逐步提高评卷员对信息表示出能力的重视；提高英语老师培养学生用英语表示出信息的积极性。分析评分能更好地帮助欠缺经历体验的评卷员以评分标准为根据评分，降低他们对能力做整体判定的要求，进而在一定程度上保证评分的内一致性〔Barkaoui2018〕。显然，评卷员的评分行为在很大程度上受培训影响〔Weigle2002〕，评卷员差异可能与不同的培训内容〔Lumley2002〕、培训方式〔Elderetal.2007〕、培训本身的效用〔Lim2018〕有关。培训是提高评分信度的一个必要条件〔Weigle1998〕。当前，我们国家口试评卷员培训多采用评分前面对面培训，培训后马上开场评分工作。这样做固然简捷，但忽略评卷员间的个体差异。另一做法是根据评卷员的个人需要制定培训计划，即评卷员个性化培训。实现个性化培训的方式方