（计算机应用技术专业论文）web环境下自适应考试系统的设计与实现.pdf

摘要 摘要 经典测试是以真分数理论为基础的测试模式，而自适应考试则是以项目反应 理论为基础的全新的测试模式。自适应测试是以测试考生能力为核心，将“因人 才施教”的教育模式真实的反映在“因才施测”的测试模式中，充分挖掘考生的 能力，让考生从传统的测试中解放出来，提高考生参与考试的积极性。如何很好 的利用自适应测试理论为教育服务，如何将理论变为现实，从而在减轻教师的工 作负担和减少人为干预的环境下，实现考试的公平公正，让测试变成真正的能力 测试，这是社会关注的热点，也是本文研究的重点。 本文在认真研究了逻辑斯蒂单参数模型、双参数模型和三参数模型后，以三 参数模型，即a ( 试题区分度) ，b ( 试题难度) ，c ( 猜测系数) 为基础，详细介绍了a , b ，c 参数的设置方法及范围，以及考生能力值0 的估计方法。并在三参数模型的指导 下，从系统管理员、教师和学生三个方面，详细介绍了基于项目反应理论自适应 考试系统的设计过程，包括题库建设、项目需求分析、概要设计和详细设计，特 别介绍了题库建设和学生参与考试的过程。 本系统在m i c r o s o f tv i s u a ls t u d i o2 0 0 5 和s q ls e r v e r 2 0 0 0 环境下设计完成，整 个系统由考生考试报名模块、考生参与考试模块、考生成绩查询及查卷模块、教 师对试题的维护模块、专家对试题的审核模块、教师组织考试模块、试卷及成绩 的管理、查询、打印等模块、管理员对系统的维护等模块组成。 本系统的特点是在逻辑斯蒂三参数模型的指导下，将单选题、多选题和判断 题均归纳为选择题，减少了设计的复杂性，同时，将试题和答案分开存放，降低 了题库设计的复杂性，另外，在试题中加入图片处理，满足了更多考试类型的需 要。同时充分利用n e t 架构的安全、稳定、可扩充、易维护等优势和b s 模式的 分层设计方法，将有关数据库的操作封装在接口中，有利于系统的设计、维护和 扩展。 通过详细的测试、修改、完善后，整个系统较功能完善，界面较友好，效率 较高，基本能投入到实际使用中。 关键词：自适应，题库，架构，设计 a b s t r a c t c l a s s i ce x a m sa r eb a s e do nt h et e s tm o d eo fc l a s s i c a lt r u es c o r et h e o r y , w h i l e a d a p t i v et e s ts y s t e m sa r eb a s e do nt h et e s tm o d eo fi t e mr e s p o n s et h e o r y t h e c o r eo f a d a p t i v es y s t e m si st ot e s tt h ea b i l i t yo ft e s tp a r t i c i p a t o r s ，r e f l e c tt h et e a c h i n gm o d eo f d i f f e r e n t i a lt r e a t m e n ti n t ot h et e s tm o d eo fd i f f e r e n t i a lt e s t t h u s , t h ea b i l i t yo ft e s t p a r t i c i p a t o r sc a l lb em i n e df u l l y , t e s tp a r t i c i p a t o r sc a l lb es e tf r e ef r o mt r a d i t i o n a lt e s t s y s t e m s ，a n dt h ee n t h u s i a s mf o rt e s t so ft h ep a r t i c i p a t o r sc a l lb ei n c r e a s e d i ti st h eh o t p o i n tc o n c e r n e db yo u rs o c i e t ya n dt h es t u d ye m p h a s i z eo ft h i st h e s i sh o wt ot a k e a d v a n t a g eo ft h ea d a p t i v et e s tt h e o r yi ne d u c a t i o na n dh o w 埝t u r nt h i st h e o r y - i n t o r e a l i t ys o 猫t or e d u c et h ew o r l d o a do ft e a c h e r sa n de x t e m a li n t e r r u p t i o n ，a c h i e v et h e t e s tj u s t i c e ，a n dt u r nt e s t si n t or e a la b i l i t ye x a m i n a t i o n s l o g i s t i cm o d e so fs m e j e - a r g u m e n t ，d o u b l e a r g u m e n t ，a n dt h r e e - a r g u m e n ta le s t u d i e di n t h i st h e s i s b a s e do nt h et h r e e - a r g u m e n tm o d e ( i e ：a ( d i s c r i m i n a t i o n ) , b ( d i f f i c u l t y ) ，c ( c o e f f i c i e n t ) ) ，t h es e t t i n gm e t h o da n dd o m a i no ft h ea r g u m e n to f 岛b ， a n dc ，a n dt h ee s t i m a t i o nm e t h o do ft h ea b i l i t yv a l u e 0o ft e s t p a r t i c i p a t o r sa r e i n t r o d u c e di nd e t a i li nt h i st h e s i s + b yr e f e r r i n gt ot h et h r e e - a r g u m e n tm o d e , t h ed e s i g n p r o c e s so fa d a p t i v et e s ts y s t e m sb a s e d0 1 1i t e mr e s p o n s et h e o r ya l ei n t r o d u c e df r o m t h r e ea s p e c t so fs y s t e ma d m i n i s t r a t o r s , t e a c h e r s , a n ds t u d e n t s , i n c l u d i n gq u e s t i o n d a t a b a s ec r e a t i o n , p r o j e c tr e q u i r e m e n ta n a l y s i s ，s c h e m ad e s i g na n dd e t a i ld e s i g n t h e q u e s t i o nd a t a b a s ec r e a t i o na n dt h et e s tp a r t i c i p a t i n gp r o c e s so fs t u d e n t sa r ei n t r o d u c e d e s p e c i a l l y n es y s t e mi si m p l e m e n t e di nt h ee n v i r o n m e n to fm i e r o s o rv i s u a ls t u d i o2 0 0 5 a n ds q ls e r v e r 2 0 0 0 弧es y s t e mc o n s i s t so fm o d u l e sf o rs t u d e n t s t e s tr e g i s t r a t i o n , t e s tp a r t i c i p a t i o n , m a r ks e a r c h i n g ，a n dt e s tp a p e rr e v i e w i n g ，a n dm o d u l e sf o rt e a c h e r s q u e s t i o nm a i n t e n a n c e , q u e s t i o nc h e c k i n go fe x p e r t s , t e a c h e r s t e s to r g a n i z a t i o n , t e s t p a p e rm a n a g e m e n t ，g r a d em a n a g e m e n t ，s e a r c h i n g ，a n dp r i n t i n g , e t c ，a n dm o d u l e sf o r a d m i n i s t r a t o r s m a i n t e n a n c e 硒gc h a r a c t e r i s t i co ft h es y s t e mi st op u ts i n g l e c h o i c eq u e s t i o n , m u i t i n e - c h o i c e q u e s t i o n ，a n dj u d g eq u e s t i o ni n t oo n ec a t e g o r yo fc h o i c eq u e s t i o n s 骶1 u s ，t h ed e s i g n i i a b s t r a c t c o m p l e x i t yi sr e d u c e d m e a n w h i l e ，q u e s t i o n sa res t o r e ds e p a r a t e l yf r o mt h e i ra n s w e r s s ot h a tt h ed e s i g nc o m p l e x i t yo fq u e s t i o nd a t a b a s ei sr e d u c e da sw e l l o nt h eo t h e r h a n d ，t oa d d 黟a p h i cp r o c e s s i n gi n t oq u e s t i o n sm e e t st h en e e d so fm o r et e s tt y p e s t h e s e c u r i t y , s t a b i l i t y , e x t e n d i b i l i t y , e a s y m a i n t e n a n c eo f n e tc o n s t r u c t i o n a n dt h e h i e r a r c h yd e s i g nm e t h o do fb sm o d e a r ef u l l yt a k e na d v a n t a g e t oe n c l o s et h er e l a t e d d a t ao p e r a t i o ni n t oi n t e r f a c e si sb e n e f i c i a lt ot h ed e s i g n ，m a i n t e n a n c e ，a n de x t e n d i n go f t h es y s t e m a f t e rd e t a i lt e s t i n g , m o d i f y i n g , a n dc o m p l e t i n g , t h es y s t e mi sp r a c t i c a ls i n c ei ti s e q u i p p e dw i t ho b j e c t i v ef u n c t i o n a l i t i e s ，u s e rf r i e n d l yi n t e r f a c e sa n dh i 曲e f f i c i e n c y k e y w o r d s ：a d a p t i v e ，q u e s t i o nd a t a b a s e ，f r a m e w o r k ，d e s i g n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 签名： 日期呷年嗍渺日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 第1 章引言 1 1 研究背景及意义 第1 章引言 考试，作为检测学生学习效果和教师教学效果的重要手段，在学校教学过程 中，具有相当重要的意义。通过考试，教师可以了解学生的学习情况，对知识的 掌握程度，并借此了解教学效果，找出教学的重点和难点，从而改进教学方法， 提高教学质量，学生则可以通过考试了解自己对知识的掌握情况，从而改进学习 方法，有目的的进行学习。同时，考试也是衡量人的能力的重要手段，选拔人才 的重要标准。 在传统的纸质考试方式下，为了完成一次考试工作，教师首先要花大量的时 间搜集整理资料，设计试题，并分析试题的知识点、覆盖面、难易程度等。同时 还需要根据本次考试的特点和要求，按照教学大纲和考试大纲，组织生成一套或 几套试卷，然后组织考试，阅卷，登记成绩，分析考试结果等，这一系列过程中， 存在大量的重复劳动，工作效率低下。而且这一系列的工作全部在人工的干预下 进行，可能会造成人为因素影响考试结果，影响考试的公平性和公正性。 在搜集资料和设计、整理试卷过程中，目前大多数教师采用的是经验型的手 工命题方式进行命题，而供命题教师选择试题的“试题库 一般都是一些教材、 参考书和习题集，试题的取舍取决于教师对教学大纲的理解和把握以及对学生学 习水平的估计，命题过程以教学经验为参照，因此主观认识上的局限性、随意性 难以避免，很难真正达到教学大纲的要求，让考试的意义变得淡薄。 随着计算的诞生，计算机技术、信息技术及计算机网络技术的高速发展，为 考试形式的变化提供了有利条件和基本的保障。从最初的受时间和地域限制的纸 质考试到计算机辅助测试，再到基于i r t ( 项目反应理论) 的考试，其实现方法由 单机形式逐步向不受时间、地点的网络化远程考试发展。随着教育和考试的发展， 计算机辅助考试以其特有的优势在教育中扮演着十分重要的角色。如何运用计算 机辅助考试技术，客观、准确地评估人的知识和能力水平，己成为教育者研究的 重要课题和社会关注的热点。 相比于传统的纸笔考试，计算机辅助的考试系统具有如下特点： 1 集中管理、共享使用。 电子科技大学硕士学位论文 分散运行的试题资料库，一般都无法保持一个专家群体，而只能通过任课教 师的自主修订，这就容易蕴藏着任课教师的个人主观行为，从而导致题库总体质 量下降。因此在计算机辅助考试中，题库都是由统一的权威机构来进行维护和管 理，所有试题都需要由专家进行审核，让所有的试题都能客观真实的反应出考生 在某个方面的能力。而题库同时要具备广泛的使用才真正具有价值，基于网络的 题库则可以解决此问题，用户只要通过浏览器连接到i n t e r n e t ，便可在任何地方、 任何时间方便地使用题库。 2 高效和智能。 使用了计算机辅助的远程考试系统，利用题库的标准化和计算机的高效处理 能力，几乎所有的工作都可以交给计算机来集中快速的处理，从而可以大大缩短 考试周期，提高工作效率，而且还能避免人为因素影响考试结果。 一份客观公正的试卷，是检测考生的真实能力水平和教师的教学水平的基本 保障。要做到这一点，必须在减少人工干预的前提下进行。考试前，教师可根据 教学大纲设置考试的要求和规则，然后将试题的选择交给计算机，让计算机根据 考试的要求和规则，自动的从题库中抽取满足条件的试题。 3 突破时间和地域的限制。 通过国际互联网，考试突破了地域和时间的限制，任何人都可以随时随地开 始一场考试，检验自己的知识和水平。当然，对于比较正式的考试，还是需要进 行严密的组织，但比起传统考试，形式可以更加灵活多样。 4 非常适合于自适应考试。 自适应考试以项目反应理论为基础，可根据考生的答题情况动态估计考生能 力值，从而实时的调整试题的难易程度及知识点内容，从而达到客观、真实的反 映出考生的能力水平，让考生不再拘泥于死记硬背某些知识点。 1 2 计算机辅助考试国内外发展现状 传统的考试起源于我国隋唐的科举制度，是一种建立在小农经济基础上并与 君主专制统治相适应的官员铨选制度，同时也是一种与教育紧密相连的考试制度。 然而，由于我国长期处于一种封闭自大的封建社会中，科举制度虽然经历多次改 革，但都没有什么大的质的变化。 计算机辅助考试在美国诞生，历经多年，已经在国外得到了广泛的应用。国 外有许多专门的考试机构采用计算机辅助测试对参加考核的对象进行评价。 2 第1 章引言 著名的考试机构有美国思而文学习系统有限公司( s y l v a nl e a r n i n gs y s t e m s i n c ) ，它在世界的5 大洲1 4 0 多个国家和地区有2 2 0 0 多个考试中心，在s y l v a n p r o m e t r i c t r 特有的计算机化考试的软件支持下，考题可通过网络迅速的传送到 遍及世界的各个考场。考生只需填写自己的正确信息注册后，便可以参加考试， 而且可以立即知道考试成绩，同时考试的结果会立即通过网络传送到相应的授证 机构。当今大部分的授证机构( m i c r o s o f t 、c i s c o 、o r a c l e ) 均委托思而文公司为 其进行测试、评估。 美国教育考试服务中心( e t s ) 是世界上最大的私人教育考试服务中心，成立于 1 9 4 7 年，总部位于美国新泽西州的普林斯顿，代替原来的美国教育委员会、卡耐 基教学促进基金会和入学考试委员会主持考试活动。h e n r y c h a u n c e y 先生是e t s 的第一任总裁，领导该机构直至1 9 7 0 年退休。e t s 推广英语标准考试服务涉及1 8 1 个国家。留学美国的中国学生要通过t o e f l 、g r e 或g m a t 这几项由e t s 推广的考 试，这一标准化英语考试落户到中国已经有十多年的时间比。 在信息产业中，美国n o v e l l 公司于1 9 9 1 年成功的应用了c a t 进行认证考试， 使参加n o v e l l 自适应考试的人数超过了1 0 0 0 0 0 0 人次。总的看来，国外的考试特 别是技术资格认证的考试都逐步采用了计算机辅助测试软件考核被试，且自适应 考试的形式开始应用到计算机辅助测试中，此外还有一些试验性的程序处于研究 阶段。 我国政府非常重视现代远程教育工作，在全国教育考试科研工作“十五”规 划中，明确要求教育考试的科研工作要在教育评价体系中发挥重要作用，在考试 研究领域创造出与我国教育事业蓬勃发展相适应的成果，以全面提高教育考试质 量，为改革和完善教育考试制度工作服务。 目前，我们国家己经开展了建立题库的工作，一系列实用的题库系统己经陆 续建立，如高等教育基础学科系列题库、国家医学水平考试题库等。许多高校和 科研单位对科学智能的组卷方法也做了研究，采用不同的方法去实现组卷，如回 溯法，动态规划法等。从九十年代初开始，全国大学英语四、六级考试委员会一 直致力于研究项目反应理论和计算机辅助自适应考试，目前己将项目反应理论应 用于分数等值处理u 。 与国外相比，我国的题库研究仍处在起步阶段。我国确实是考试大国，但我 国的考试理念、方式、方法、手段、技术还不强，“题库建设是一个方向，是一个 长期的过程 。 电子科技大学硕上学位论文 1 3 论文工作概述 1 3 1 具体工作 在一年多的时间里，本人从收集资料到完成系统设计，具体做了如下的一些 工作： 1 搜集资料。 2 阅读资料，分析前人的算法设计。 3 在m a t l a b 中测试前人的算法。 4 分析系统的主要功能，编写需求文档。 5 做系统的初步设计，编写概要设计文档。 6 分析设计系统数据库，包括数据字典、基本信息表、视图及存储过程的设 计。 7 界面设计，包括界面布局和样式表设计。 8 设计系统接口。 9 分析并设计系统的异常处理。 1 0 测试系统。 1 1 与其他非自适应考试系统进行比较研究 1 2 撰写论文。 1 3 2 项目特色 1 支持智能出题。 本系统在强大的题库支持及自适应算法的支持下，可以根据考生在某个阶段 的能力，自动的为该考生“量身定制”相应的考试题目，在有效避免了人工干预 的情况下，真正体现了考试的公平公正。 2 以考核考生能力为主。 逻辑斯蒂模型有单参数、双参数和三参数三种模型，其中单参数模型的参数 只有试题难度系数b ，双参数模型在单参数的模型的基础上加入了试题区分度参 数a ，三参数又在双参数的基础上加入了猜测系数c ，这使得算法能更精确的反应 出考生的能力。 在以逻辑斯蒂三参数模型为基础的自适应算法，能充分挖掘考生的能力，提 高考生的考试积极性，避免了在传统考试中，所有考生在相同的试题中遇到太难 4 第1 章引言 或太简单的题目，造成考试结果偏离考生的实际能力。 3 简化题型归类。 一般的考试都包括主观题和客观题， 判断题，这三种题型的答案都是标准的， 而客观题一般包含有单选题、多选题、 且考生答题的方式基本都是一致的( 从 2 个或2 个以上的答案中选择一个正确的答案) ，为了简化系统设计，在本系统 中，将这三种题型( 单选题、多选题、判断题) 用同一个操作界面来实现，不再 为每种题型分别设计一个操作界面，这样就简化了系统设计，方便制作和维护， 提高了系统的设计效率。 4 答案和试题单独存放。 因为填空题和简答题的答案只有一项，判断题的答案选项只有两项，而多选 题的答案选项数目是不定的，如果将试题和答案放在一起，这在数据库设计的时 候，会有很多的不便。因此本系统单独设置了一个试题答案表，用于保存答案编 号、试题编号和相应的试题答案内容。 5 图片的灵活处理。 一个考试系统不是为某门课程而设置，而是需要适应不同课程的题库。有些 考试题目中需要嵌入图片，而且图片的数量可多可少，为了解决这个问题，在本 系统专门设置了一个图片表，存储图片编号、题目编号和相应的图片路径。 1 4 本文内容导读 全文共分为七章，详细介绍了系统设计的理论基础和设计过程。 第1 章：引言，介绍本文的研究意义及计算机辅助考试的发展。 第2 章：自适应算法分析及设计，介绍自适应算法的起源、算法分析及设计。 第3 章：需求分析及方案选择，结合网络上众多考试系统和自适应考试的算 法，提出本次设计的需求分析，并结合当今的软件开发技术，介绍了系统的开发 工具。 第4 章：概要设计，介绍了本文系统设计的基本内容。 第5 章：详细设计与实现，介绍了自适应考试系统的设计过程。 第6 章：测试及性能分析，介绍了本系统的测试结果及自适应测试与经典测 试的比较。 第7 章：结论，介绍本次毕业设计所做系统的特点与缺点。 电子科技大学硕士学位论文 1 5 小结 本章简要介绍了本息毕业设计的研究背景及意义，详细介绍了计算机辅助测 试在国内外的发展现状，最后从毕业设计的实际工作出发，介绍了本次毕业设计 的具体工作和项目特色。 6 第2 章自适应算法分析及设计 第2 章自适应算法分析及设计 2 1 自适应考试的起源与发展 2 1 1 经典考试 经典测试理论( c l a s s i c a lt e s tt h e o r y ，缩写为c t t ) 是从2 0 世纪初发展起来 的，它基于线性模型，建立在真分数数学模式基础上。真分数理论模型是指任何 测量皆由两部分组成，一部分是能够从测试中反映出来的，代表着某种潜在特质， 这部分是真实分数部分，另一部分是从测试中反映不出来的，也不能为潜在特质 解释，这部分是误差部分。这两者构成任何一个测得的值即实得分数，而且二者 彼此之间没有任何关联存在。由此，只要符合这一模式的便为真分数理论模式， 它可以用数学公式x = t + e 进行表示，其中x 代表测试分数，t 代表真实分数，e 代表误差。 2 1 2 计算机辅助考试 计算机辅助评价( c o m p u t e ra s s i s t e da s s e s s m e n t ，简称c a a ) 怕1 是指以计算机 作为工具或手段，对应试者的知识、技能和能力进行评价。与c a a 含义大致相同 的术语还有： 1 计算机辅助测试( c o m p u t e r a i d e dt e s t i n g ) 。 2 基于计算机的评价( c o m p u t e r - b a s e da s s e s s m e n t ) 。 3 基于计算机的测试( c o m p u t e r b a s e dt e s t i n g ) 。 4 计算机化自适应考试( c o m p u t e r i z e da d a p t i v et e s t ，简称c a t ) 。 传统教育考试、大型的社会化考试、网络教育中教学评价活动的开展，对计 算机辅助评价的需求日益扩大，传统的教育评价方法和测试手段也越来越不适应 教育发展的需要。特别是在考生数目过大或地理位置相对比较分散，时间、人员 和资金紧张的情形下，传统的测试方法己很难适应。计算机辅助评价作为一种 新的评价方式被大众所接受，有其自身的特点及其优势： 1 从考生的角度来看。 1 ) 通过阶段性评价，使考生了解自己的学习进度，从而调整自己的学习状态 7 电子科技大学硕士学位论文 和学习方法。 2 ) 通过总结性评价，使考生可以了解自己的整体水平，可以确认当前的学习 方法是否有效。 2 从教学的角度来看。 1 ) 计算机辅助评价使得大范围地区的评价更加迅速，节省时间耗费。 2 ) 通过阶段性评价，可以了解学生的学习进展情况。 3 ) 在自适应考试过程中，发现学生整体的弱点，从而调整教学方法。 3 从管理学的角度来看。 1 ) 减少了在监督管理、监考和评分上面花费的时间。 2 ) 减少了在评分过程中因为人为因素而出现的错误。 3 ) 处理不同地点的学生同时进行测评时，节省了财力和人力。 4 ) 进行无纸化考试，减少在印刷上面的费用。 5 ) 从数据库中随机抽取题目，避免了人为因素的干扰，有效避免作弊。 因此，研究计算机辅助评价在教育评价中的应用具有重要意义，对于解决现 代远程教育中师生分离状态下的交互与反馈问题，尤其具有应用价值。有利于教 师监测学生的学习过程，可对学生进行与其能力相匹配的自适应考试。对于某些 学科，可实现测评的自动化，这对于提高评价的质量、保证评价的一致性和公正 性、降低评价代价，都具有重要意义哺1 。 目前，计算机辅助评价主要采用经典测试理论( c l a s s i c a lt e s tt h e o r y ，简 称c t t ) 和试题反应理论( i t e mr e s p o n s et h e o r y ，简称i r t ) 来进行题库的建设。 两种理论的主要区别在于其数学模型的不同，它们是基于不同的假设提出的。经 典测试理论采用的是线性的定性模型，试题反应理论采用的是非线性的概率模型。 经典测试理论憎。，又称真分数理论，它是以真分数模型为基础，围绕考生对 试题的应答结果( 观测分数) 和考生所具有的真实的心理特质( 真分数) 之间存在的 误差进行分析，发展并形成了包括信度、效度、区分度等概念在内的比较完整的 教育测试理论体系。经典测试理论借用普通物理测试的基本假设，能够对考试结 果做出合理的解释，并且可操作性强、能满足人们对考试作为一种选拔工具的需 要，是目前应用最广泛的教育测试理论。 试题反应理论，主要研究考生在考试试题上反应行为与考生潜在特质之间的 关系。试题反应理论的最大优u 圳点在于对考生能力的评估不依赖于考试题目的特 殊选择，并且，试题反应模型对试题参数的估计独立于考生群体样本的差异，通 过该模型来测试考生能力水平，可以精确估计测试误差等。这些优点使得试题反 第2 章自适应算法分析及设计 应理论有利于按照考试目标要求编制试卷、有利于实现考试等值，为实现自适应 的计算机化考试提供了极大的方便。但是，试题反应理论的理论假设过于理想， 并且技术复杂，这些局限性都影响了它的广泛应用1 。 2 1 3 传统考试的弊端 当前，计算机“无纸化考试系统 u 副，由于便于组卷和评阅、无纸化资源消 耗低、自动化程度高和可以实现远程考试等特点，在学历考试、各种职称考试、 证书考试中己被广泛使用。但大部分考试系统只是简单的将传统的人工出题方式 改为计算机出题，或者将笔试改成上机考试，其基本的指导思想仍没有突破传统 的经典测试理论。 在传统的考试当中，因为所有考生使用相同的试题，无法顾及考生水平的高 低和考生的潜在能力，从而会在考生的心理上造成一些问题： 1 对水平低的考生来说，那些难度大的题目，根本无法做答，从而引起考试 焦虑，影响能力的发挥。 2 对高水平考生来说，那些难度小的题目，又测不出考生的真实水平。 除了上面的心理学因素外，传统测试还存在以下问题。 1 考生成绩和题目难度密切相关。即题目太难或太容易，可能导致考生成绩 普遍偏低或偏高，反应不出考生的真实能力水平。 2 样本相关。在传统考试中，题目参数难度、区分度是以通过该题的人数的 平均得分率、题分和试卷得分来计算的。所求得的参数会受到不同考生样本组能 力水平的影响，不能达到考试的客观公正。 3 在经典测试理论中，题目参数与考生得分是在不同的基础上分别求得的， 所以无法建立考生得分与测试题目参数之间的关系，即考生的特质水平的估计会 由于测试的改变而改变。 4 测试的试题难度取决于考生水平，题目区分度取决于考生的异质性，考试 的结果难以比较。 5 以经典测试理论为基础的考试设计，主要针对中等水平的考生，因此，对 能力低和能力高的考生往往缺乏精确的估计，真正的人才很难通过一次考试脱颖 而出。 6 无法估计一个考生答对某一题目的可能性，这就难以使测试适应考生水平。 成功的测试总是希望能对较大范围内的考生的特质水平提供一种较为精确的测 9 电子科技大学硕士学位论文 试。 理论的分析与实践证明，当题目难度跟考生水平相适应时，题目所提供的信 息量越大，考生的积极性高，测试分数的效度也最好。因此，在测试的编制与实 施上，应具体问题具体对待，象“因材施教”那样“因人施测 ，以提高测试工 作的效度与信度。 上世纪八十年代中期兴起的自适应考试解决了主动适应考生状况的“因人施 测问题。自适应测试的理论基础是试题反应理论，试题反应理论建立了深刻地、 综合地反映考生做答反应与题目质量及能力水平间关系的非线性模型，估计出的 能力水平不依赖于特定的施测题目样本，而且能明确算出信息量，即测试精度。 因而，即使多个考生各自接受了一批难度变化不同的测试，据此估出的能力水平 值也是可以相互比较的。考试成绩能较准确、客观地反映考生的实际能力，不会 因为题目的难度偏差和考生的偶然失误而对成绩有太大影响。因为，c a t 考试能 相对更准确地考核考生的掌握程度，很可能成为今后远程教育中考核测试的主流 1 3 o 目前，随着i n t e r n e t 应用的日益普及，基于i n t e r n e t 的网上考试系统成为 计算机辅助教学的重要组成部分，各大学及很多相关机构都在研究和开发相关软 件。如果将自适应考试形式应用于计算机远程教学或计算机辅助教学的自测考试， 会有以下好处。 1 从心理学角度分析，因为测试题目与学生能力相适应，学生会更有积极性 做完试题，减少因为题目太难或太易而造成的心理的负面影响的可能性制。 2 自适应考试模型的收敛速度更快，即能在更短时间内对考生能力做出评价， 减少了测试时间。 3 自适应考试总是抽取与考生能力相适应的题目，学生将更容易发现自己对 哪方面的知识掌握的不足，从而帮助他们有针对性的学习。 2 1 4 自适应考试的发展 i r t 的产生可追溯到上世纪4 0 年代，最早是由丹麦学者拉希( g r a s c h ) 提出 的，后经洛德( f l o r d ) 等人的发展始具理论轮廓。但直到6 0 7 0 年代，由于计算 机的广泛运用与普及，才相继出现了一些i r t 的研究论文。 在1 9 5 2 年，洛德在其博士论文关于测试分数的一个理论中，第一次对试 题反应理论作了系统的阐述( 当时他称其为题目特征曲线理论，后改名为试题反应 1 0 第2 章自适应算法分析及设计 理论) 。通常将此看作是试题反应理论诞生的标志。 由于洛德理论的数学复杂性，以及人们对理论本身的怀疑，因而这一新型的 测试理论在当时并没有引起人们的关注。洛德本人在此后1 0 多年中也未能在试题 反应理论上取得多大进展。直到1 9 6 5 年，洛德通过大规模的调查研究，证实了他 所提出的试题反应理论的假设与现实生活中的测试问题相符，由此而引发试题反 应理论的研究和应用。值得一提的是，正当洛德苦于验证其假设的同时，丹麦数 学家拉彻在1 9 6 0 年独立地提出了含有一个参数的“样本无关 的心理测试模型， 这就是以后试题反应理论中重要的单参数模型u 引。 1 9 6 8 年，洛德和诺维克在伯恩波姆的名著心理测试分数的统计理论中， 以四章的篇幅详细地阐述了试题反应理论中具有二、三参数的常态卵形模型和逻 辑斯蒂模型的数学问题，至此，构成了试题反应理论的基本体系。在7 0 至8 0 年 代，试题反应理论吸引了众多的教育和心理测试学者，从而使得试题反应理论取 得了突破性进展，一方面表现在一系列试题反应理论问题的论文的发表，另一方 面，表现为试题反应理论在技术上和应用上的进展。早先困扰试题反应理论的数 学模型复杂性，在近2 0 多年的计算机技术协助下，得到了较好的解决，先后产生 了计算机程序b i s c a 和l o g i s t ，它们都较成功地实现了试题反应模型的参数估计， 为试题反应理论在实践中的应用扫清了障碍。目前，美国大多数教育行政机构、 考试服务机构都进行试题反应理论的研究或应用，甚至美国国家行政事务委员会 还将采用试题反应理论的应用成果作为一项官方政策。 除了美国之外，在加拿大、新西兰、瑞典和奥地利等国也对试题反应理论进 行了广泛的研究和应用。自上世纪7 0 年代以来，试题反应理论在其各个主要应用 领域，如测试设计、能力估计、测试等同化、自适应考试等方面，都取得了相当 大的进展。目前，人们对试题反应理论的研究工作，在理论方面，集中在连续变 量测试资料和多维情况下的数学模型探索上；在实际应用方面，则主要集中在模 型与试题拟合良度检验方法和参数估计方法的改进上，以及试题反应理论在测试 编制、题库建设、测试参数等值等实际问题中的应用上。随着试题反应理论研究 队伍的不断壮大，试题反应理论将会越来越完善，越来越得到更广泛的应用。 在我国，己经出现了一些应用型的研究，自行编制了一些自适应考试，并取 得了实际的运用效果。上海电大在上海市计算机应用能力的考试试题“v b 6 0 程 序设计”中己采用了c a t 的考试设计方法。江西师大小学数学自适应考试研究、 华南理工大学的“数据结构 自适应考试系统的研究也取得了一定的成果。自上 世纪九十年代初期开始，全国大学英语四、六级考试委员会一直致力于试题反应 电子科技大学硕士学位论文 理论和“计算机自适应考试 的研究和开发n 6 1 。 2 2 自适应考试的原理 2 2 1 项目反应理论 项目反应理论( i t e mr e s p o n s et h e o r y ，i r t ) 也称潜在特质理论或潜在特质 模型，是一种现代心理测量理论，其意义在于可以指导项目筛选和测验编制。项 目反应理论假设被试者有一种“潜在特质 ，潜在特质是在观察分析测验反应基 础上提出的一种统计构想，在测验中，潜在特质一般是指潜在的能力，并经常用 测验总分作为这种潜力的估算。项目反应理论认为被试在测验项目的反应和成绩 与他们的潜在特质有特殊的关系。通过项目反应理论建立的项目参数具有恒久性 的特点，意味着不同测量量表的分数可以统一。项目反应理论通过项目反应曲线 综合各种项目分析的资料，使我们综合直观地看出项目难度、鉴别度等项目分析 的特征，从而起到指导项目筛选和编制测验比较分数等作用1 。 2 2 2 基本概念 试题反应理论建立在两个基本概念上： 1 潜在特质或能力。 考生在某- n 试试题上的表现情形，可由一组因素来加以预测或解释，这组 因素叫做潜在特质或能力。 2 试题特征曲线。 考生的表现情形与这组潜在特质问的关系，可透过一条连续性递增的函数来 加以诊释，这个函数称为试题特征曲线。 其实，我们把能力不同的考生得分点连接起来所构成的曲线，便是能力不同 的考生在某- n 试试题上的试题特征曲线，把各试题的试题特征曲线加总起来， 便构成所谓的试卷特征曲线。如图2 - i ，试题特征曲线即是考生对试题的反应概 率对能力因素所作的回归线，这条回归线基本上是非直线的u 引。 1 2 第2 章自适应算法分析及设计 l 0 7 5 0 0 反 应 概 率 能力 321ol23 图2 1 不同题目的试题特征曲线不恿图 试题特征曲线所表示的涵义，即是某种能力水平( 潜在特质) 与其在某一试题 上正确反应的概率之间的关系。这种能力水平愈高，其在某一试题上的正确反应 概率便愈大。 在试题反应理论中，每一种试题反应模型都对应着一条试题特征曲线，此曲 线通常包含一个或多个参数来描述试题的特征。因此，所选用的试题反应模型所 具有的参数个数及其数值的不同，所画出的试题特征曲线形状便不同u 。 当某一种试题反应模型适用于测试试题时，一些试题反应理论的基本特性也 会随之产生。首先，从不同组的试题估计而得的考生能力估计值，除了测试误差 外，不会受所使用的测试种类的影响，即它是试题独立的能力估计值。其次，从 不同群体的考生估计而得的试题参数估计值，除了测试误差外，亦不受参与测试 的考生群体的影响，即它是样本独立的试题参数估计值。上述两种特性，在试题 反应理论中叫做参数不变性，这些不变性是把试题的信息考虑在能力估计的过程 中，把考生能力的信息考虑在试题参数估计的过程中而得到的。也就是说，不管 考生来自的群体如何，只要他们具有相同的能力，他们答对( 或正确反应) 某一试 题的概率便相同。由于某特定能力的考生答对某一试题的概率是由试题参数所决 定，试题参数对这不同群体的考生而言也必定相同比。 1 3 3 弘 m 艾 4 3 4 2 3 2 3 2 3 2 3 l 2 l 2 l 2 444 4 44 3 4 4 3 4 4 4 3 4 4 2 3 4 22 33 3 2 3 2 3 3 2 3 。 2 龙 1 2 2 2 1 2 2 1 2 电子科技大学硕士学位论文 2 2 3 逻辑斯蒂模型 不同的试题特征曲线对应着不同的试题反应模型，目前应用最广的试题反应 模型是以伯恩鲍姆提出的逻辑斯蒂模型为代表瞄“。 试题特征曲线描述的是各种特质水平的考生( 一般用0 表示) 对某- n 试试题 的正确反应概率( 一般用p ( 0 ) 表示) 。一定能力或特质水平的考生对某- n 试试 题的正确反应概率只与该试题的质量有关比引。它所假定的试题特性曲线图如图 2 2 所示。 p ( e ) 正 确 l 反 应 的 概 率o 5 o c 图2 2 逻辑斯蒂模型不意图 一般说来，考生的特质水平可视为连续变化，因此，反映各特质水平上考生 的答对概率的连线就一定是一条平滑的曲线睇。由于特质水平越高的考生答对概 率越大，所以这条曲线应该是单调递增函数的曲线，当特质水平0 大或小到一定 的程度以后，答对概率p ( o ) 随之变大或变小的速度显著变小。研究表明，这种 曲线的形状，是一条以其拐点为对称中心的s 形曲线瞄。 对某一测试试题的质量，我们可采用试题难度、试题区分度和猜测参数三个 指标来描述。从图2 - 2 中可以看出，试题特征曲线下部的渐近线离坐标轴的零点 有一定的距离，这表明，由于存在猜测因素，能力或特质水平很低的考生仍有可 能答对该试题，该参数称为猜测参数心引，一般用c 来表示，它是凭猜测答对该题 的概率。前面已经提到，试题特征曲线是一条以拐点为中心的曲线，因而其拐点 1 4 第2 章自适应算法分析及设计 在纵轴上的投影正好落在c 与1 的中点上，即拐点的纵坐标为( 1 + c ) 2 ，这表明特 质水平为b ( 拐点在横轴上的投影) 的考生答对与答错该试题的概率，排除猜测因 素不计，恰好彼此相等，所以b 通常被定义为试题的难度参数u 圳。试题特征曲线 拐点处的斜率刻划了曲线的陡峭程度，这与试题区分考生特质水平的能力有关。 很显然，曲线越陡峭，答对概率p ( o ) 对特质水平。的变化就越敏感，即试题区 分考生水平的能力就越强。因此，曲线拐点处