运用计算机组卷和命题的考试系统介绍,现代教育技术论文

运用计算机组卷和命题的考试系统介绍,现代教育技术论文随着计算机和信息技术的发展，计算机化考试〔Computer-basedTest,CBT〕逐步应用于考试实践中，越来越多的考试机构开场使用计算机化考试取代传统的纸笔考试。在过去的三十多年里，相继开发出的一些高水平的大型计算机化测试，宣告了世界测量已进入一个高科技时代。甚至有研究者预言所有的考试总有一天都会采用某种计算机化测试形式.一般以为，利用计算机进行题目命制、考试施行、评分、试卷分析及成绩反应的各类测试均可称为计算机化测试.CBT省去了试卷印刷、发送等工作环节，更具有高效、快速的优点，并由此带来了试题编拟、组卷、管理等一系列的革命，因而CBT不仅仅是技术革命，更是命题管理的革命。本文将从试题情境设计、组卷系统、命题管理等几个方面讨论基于CBT的试题命制以及带给我们的启示。2试题情境设计试题的立意、情境和设问是编制试题的三个要素。在明确试题考察目的之后，怎样选取适宜的素材，设计恰当的情境来实现考核目的是试题命制的重点之一。利用计算机独特的功能，如多媒体、互动方式等，能够开发出更优质的创新试题〔InnovativeItems〕，创设出更新颖的情境，进而提高考察效度。在CBT试题编制的设计中，需要注意下面因素：2.1利用计算机技术的创新随着多媒体技术的发展，CBT不仅能够呈现文字、图像、表格等文本信息，而且能够包含音频、视频、动画等多种形式的媒体，能够呈现各种复杂的、动态的信息，能够模拟考生生活或工作中的真实场景，扩大了考试的内容范围，更新试题呈现方式。另外，考生能够通过点击鼠标、键盘输入、对着麦克风讲话等行为作答，使得测量的渠道更为多元、更为互动、更为直观。这些技术创新拓展了命题设问的空间。在进行试题情境的创设时，能够根据试题的考察目的和考察内容，整合贴近考生的文字、图像、表格、视频、音频、动画等素材，合理地设计试题呈现的内容，将多种形式信息合理地组织利用起来。例如，一类新题型：热门题，在屏幕上提供试题情境，让考生通过点击鼠标，点击不同区域作答。例如在计算机屏幕上呈现太阳系，要求考生将太阳系的八大行星拖拽到正确的屏幕位置。或在屏幕上给出太阳的影像，要求考生在图上标注出太阳耀斑最强烈的地方。2.2能力要求的创新CBT创新试题具有素材来源广泛、呈现形式多样、信息量丰富、情境真实、设问角度灵敏的特点。这些特点使得CBT能够考察传统纸笔考试所不能考察的新能力。例如数据处理能力、综合推理能力等。数据处理能力是：从庞大的数据中排除次要信息，分析、整合并提炼出重要信息的能力。这个能力对今后的学习至关重要，也是职场上所必不可少的技能。在对数据处理能力进行考察时，考生能够利用计算机独特的排序等功能对呈现的数据进行编辑，挖掘数据背后的规律，发现解题的途径，展现推理能力。综合推理能力是：考生需要综合各种不同的信息，选择适宜的方式方法、途径进行推理论证。例如GMAT近期推出的综合推理题型〔IntegrateReasoning〕，考生在回答以下问题时，需要运用表格分析、图表解读、统计推断等方式方法，综合分析多种形式、多种来源的输入信息，评估可能的结果后，探寻求索能够选择的决策，寻求最恰当的可行方案。试题考察了考生分析综合、评估、批判性思维等更高层次层级的认知技能。还有一些传统纸笔考试中无法考察的能力，在CBT中也有不同的考察形式和内涵。例如，实验能力是自然科学研究中的一项重要能力，然而在传统的自然科学考试中，实验能力的考察往往只能在纸上进行。借助计算机，通过模拟真实的实验情境，CBT的试题能够考察考生实际动手操作的能力，十分是设计实验的能力。这些试题提供大量的实验器材，要求考生根据实验目的，设计原理和步骤，挑选适当的实验器材，在仿真的实验环境中，获取实验数据，分析和处理实验结果等，实现对考生实验能力的考察。2.3为考生提供多种选择每个考生的个性是不同的，传统的纸笔考生往往难以照顾到这点，而计算机化的考试能够方便地根据一定的方式分发试题，CBT呈现的试题情境能够根据考生回答的情况变化，进而有效地区分各类考生群体，使考试愈加个性化。例如，在模拟的实际办公情境中，假设你是一名员工，需要与客户联络，你能够选择、E-mail等方式。假如选择，屏幕上呈现场景的试题；假如选择E-mail,屏幕上呈现一封实际的E-mail,你需要给客户发一封电子邮件。这种非线性的呈现试题的方式，具体表现出了考生的自主选择性，有利于激发考生的真实的反响行为。2.4利于考后的评价值得注意的是，CBT试题进行创新的同时，评价细则也同样进行创新。一般来讲，评价细则应与思维量相匹配，具有可操作性，以方便后期的数据统计分析。如GMAT推出的综合推理题型，每一道试题的分值一样，且都有2至3道子题。考生答对全部子题得1分，否则得0分，降低了考生猜想的因素。另一种赋分方式是每一道子题1分，考生的得分为答对子题的个数。另外每个试题需要考生作答的量较小，这样阅卷的工作量也就相对较小。近期，采用人工智能进行评分成为CBT测试发展的新方向，更多科学技术被运用到评价中来。例如：人工智能在CBT中的应用主要具体表现出在：利用自动语音辨别技术进行白话评分，以及利用统计、自然语言处理和人工智能实现写作自动评分.2.5促进考生充分发挥真实水平创新题型的情境复杂，信息量大，思维容量大，呈现方式多样，对考生的思维能力要求较高。考生要求在2~3分钟内完成一道试题，因而需要集中注意力，激发全部的潜能，综合分析屏幕的多个信息才能完成解答。试题情境的创设力求对所有考生都是公平的，不出现试题功能性偏差。试题的情境和设问具有一定的挑战性，能够让不同层级的考生发挥本身的水平，能够在更高层次层级的思维水平上区分考生。3组卷系统单个的试题命制完成后，需要组拼成一个集合，即一套试卷。传统组卷方式是在考试开场前就组成一套固定的试卷，所有考生使用的试卷是完全一样的。而CBT中的线性动态考试系统〔Linearon-the-flyTesting,LOFT〕则是在这里基础上进行了改良，与传统的组卷方式不同，LOFT是在考前为每位考生临时组拼一套试卷，进而组拼成多套平行试卷用于考试，并且考试的内容和统计指标严格受控。3.1线性动态考试系统〔LOFT〕介绍线性动态考试系统以题库为依托，在每位考生坐到计算机前，题库就为其组拼了一套试卷。组拼试卷详细的指标主要包括下面内容。〔1〕内容构造〔ContentStructure〕。首先将题库中考试科目的考试内容分为若分，分别存储。在组卷之前确定试卷中每部分内容试题的数量。每部分题目的数量=本部分内容在大纲中的比例试卷题目数量。同时，根据考察重点内容的题目在本部分内容中的比例，决定考察重点题目数量。在组卷经过中，注意避免敌对题的出现，所谓敌对题就是互相之间有提示影响的试题。〔2〕试题曝光率〔ItemExposureRate〕。由于题库中的试题是重复使用的，所以要控制每道试题的曝光率，使每道试题被抽到的概率大体一样。避免统计数据较好的试题曝光率过高。〔3〕试卷之间题目重叠率〔FormOverlappingRate〕。由于每个考生的试卷既不是完全一样，也不是完全不同，每张试卷之间都可能有部分一样的题目，必须控制试卷间一样试题的数量，或者讲一样试题的比例。这个比例根据题库中试题的数量、考生人数、考试次数、试题难度等因素综合考虑确定。〔4〕试卷难度区间〔FormOverallDifficultyRange〕。在考试中，为保证公平，要保证每张试卷的难度是等值的，所以每张试卷的整体难度要控制在一个基本一样的区间。因而每张试卷难度的估计区间不能过大，以便使不同试卷等值。〔5〕信度〔RaschReliability〕。为保证考试的稳定性和可靠性，也要控制试卷的信度区间，使考生的成绩稳定、可靠。3.2线性动态考试系统的基础LOFT的设计和使用是以题库为基础的，为了保证考生的成绩等值、可信，要采取多项措施，一是全面规划题库中试题的数量，二是施行共同题等值，三是进行大规模的试测，分析考试试测数据，使每个试题都有一整套数据指标。这样就使考生能力水平在每次考试间具有可比性，考试数据年度间具有可比性。另外LOFT更适用于标准参照测验，由于标准参照测验主要测试考生的知识、技能和表现，一般不进行考生个人之间的比拟，考生通过与否是关键，因而能够实行窄全距的难度分布，在标准附近多设计试题，以测试考生能否到达了规定的标准。3.3LOFT特点分析线性动态考试系统和固定试卷相比有三个优点：一是提高考试安全性，由于每个考生使用的试卷中的题目不完全一样，降低由于考生考试后相互对题而产生的潜在漏题风险。二是减少由于试题仅仅使用一次，所以命制大量试题而增加的研发的费用。三是提高题库试题的利用率。4命题管理CBT不仅改变了试题的呈现形式，而且对命题管理也带来了宏大的变化，十分是对基于题库命题的考试项目。利用题库管理系统，能够将介入命题的人员分成几类，例如项目管理者、试题编写者、审题专家等。项目的管理者在题库建立伊始就要规划和设计好考试项目的管理流程，进而设定不同的用户。借助计算机的功能，项目管理者能够增减用户、限定不同用户的权限、记录用户的登录记录等。这些不同用户之间的权限有所不同，例如，审题专家有权限看到已经编写完成的试题，而无法看到已经进入题库中的试题。基于题库命题管理后，项目管理者能够不用再把试题编写者聚集到一起进行面对面的讨论，而是能够借助计算机和互联网实现远程管理。项目管理者利用题库软件的功能，甚至能够回溯试题编写者的命题经过，这样能更好地从命题的立意、材料的选取、方式方法的使用等多个角度来审定和处理试题。试题编写者可以以根据自个的时间来布置工作，当试题编写者登录到题库系统后，他能够明确知道自个所需要编写的试题内容、题型、数量、难易度等要求。项目管理者能随时从命题蓝图中把握试题编写进度〔见表1〕。当试题编写者完成试题编写后，项目管理者能够把这些试题发送给其他的试题编写者进行审校，或者是发给审题专家进行裁决。这些反应意见都能够通过计算机网络实现远程传输，并最终具体表现出在题库管理系统中〔见表2〕。5考虑与启示〔1〕计算机化考试不但是试题呈现方式的变革，而且是试题情境设计、组卷和统计方式的变革，命题人员要勇于面对挑战，开拓思路，积极研究CBT的特点，擅长应用计算机技术，设计适应CBT的试题。能够选择一些科目或一些科目的部分试题实行CBT,总结经历体验，逐步推广。〔2〕应用技术手段是为了更好地实现考试目的，要恰如其分地使用技术手段，不能机械地为使用而使用，要充分发挥其独特的作用，为实现考试目的服务。在试题情境的开发中，应合理使用多媒体技术，要根据测量目的，挑选最合适计算机呈现的、合适作答的情境和呈现形式，而不能本末倒置，由于滥用多媒体技术而影响了考试目的的实现。〔3〕LOFT组卷系统既不同于传统的固定试卷，也不同于计算机自适应测验，而是根据考试需要开发的组卷系统。这就启示我们，在题库的建设经过中要本着实事求是的原则，不能教条主义、，以单题形式存储的是题库，以试卷形式存储的也是题库，只要能灵敏、快速、高效完成考试任务，全面、准确、完好实现考试目的就是好的题库。〔4〕CBT改变了试题的命制方式，也同时改变了命题管理，怎样利用新的技术、新的管理平台完成命题工作是命题人员需要研究和实践的任务。命题人员要总结出题库管理的经历体验和特点，结合不同的科目构成具有学科特点的管理流程和经历体验。以下为参考文献[1]Bennett,R.E.Inexorableandevitable:Thecontinuingstoryoftechnologyandassessment[J].JournalofTechnolo