（信号与信息处理专业论文）基于改进遗传算法智能组卷研究.pdf

摘要 摘要 随着计算机辅助教学和人工智能的发展，大型题库系统中，能决定组卷的质 量和效率的组卷算法逐渐被众多专家所关注。就目前国内外研究现状，在智能组 卷上许多都是采用具有很大不确定性的随机组卷算法，而组卷仍是一个在一定约 束条件下的多目标参数优化问题，采用随机组卷方法很难达到用户期望值。 目前人们主要关注的是遗传算法的早熟、以及收敛性问题，并通过对编码方 式、控制参数的确定和交叉机理等进行深入研究来解决问题。本论文在借鉴已有 成果的基础上，结合目前的组卷算法研究方向，针对组卷结构质量和组卷速度等 问题，研究遗传算法在组卷领域的智能组卷中的实际应用。本文主要进行以下几 个方面的工作： 1 首先从智能组卷的理论入手，结合教学实际问题，对组卷问题进行深入分析， 比较多种不同组卷策略，得出建立基于经典测量理论的多目标函数数学模型。 2 针对遗传算法的早熟和收敛问题进行描述和成因分析，在传统的遗传算法和 一般的自适应算法基础上，结合组卷实际问题，重点关注种群多样性少而导 致的局部收敛问题，以及收敛速度问题。采用实数编码方式，在基因的选择 上采用确定性最优选择策略，通过算术交叉后再进行均匀变异策略。并利用 遗传算法是符合文化算法框架要求的进化算法这一特性，将其作为文化算法 的种群空间，并将两者的有机结合应用于智能题库中的组卷策略研究，通过 信念空间更高效的指引种群的进化，大大加快收敛速度，提高组卷质量。实 验结果表明改进遗传算法具有较好的全局搜索性能，收敛速度也得到明显改 善。 3 最后，将智能组卷和遗传算法相结合，通过设置用户基本参数和遗传算子操 作概率，使用基于改进的遗传算法进行智能组卷仿真实验，实验数据表明， 基于改进的遗传算法进行智能组卷，组卷结构合理，组卷效率好。 本文围绕自动组卷问题建模、成卷质量和成卷速度上进行研究，重点研究了 改进遗传算法在智能组卷算法中的应用。运用经典测量理论指导，构建基于经典 测量理论的多目标函数模型，并通过改进遗传操作和适应度函数，实现了组卷性 广东工业大学硕十学位论文 能的优化。通过测试与系统仿真，得出了有一定价值的理论思想与可行的实际应 用成果，有助于课程教学的宏观指导和科学化，规范化与标准化的管理，为更加 客观、真实、全面地快速反映教学的实际效果与评价提供了新的实现思路。 关键词：遗传算法；智能组卷；经典测量理论；收敛性；数学建模 a b s t r a c t a b s t r a c t a l o n gw i t l lt h ed e v e l o p m e n to fc o m p u t e ra i d e dt e a c h i n ga n dt h ea r t i f i c i a l i n t e l l i g e n c e ，t h ea l g o r i t h mt h a tc a nd e c i d et h eq u a l i t ya n de f f i c i e n c yo ff i x i n gt e s t p a p e ri sg r a d u a l l yr e c e i v i n gah u g ea m o u n to fa t t e n t i o ni nl a r g et e s ts y s t e mb ym a n y e x p e r t s c u r r e n tr e s e a r c hs i t u a t i o ni ni n t e l l i g e n t ，m a n ya r eu s i n gal a r g eu n c e r t a i n t i e s ， a n dw i t ht h ea l g o r i t h mo fu n i tv o l u m ei ss t i l lag r o u pi nc e r t a i nc o n s t r a i n tc o n d i t i o n s o fm u l t io b je c t i v eo p t i m i z a t i o np r o b l e m s ，t h ep a r a m e t e r so fu n i tv o l u m em e t h o dt o a c h i e v ew i mu s e re x p e c t a t i o n s s p e c i a l i s t sm a i n l yf o c u so nt h ep r e m a t u r i t ya n dc o n v e r g e n c eo fg a ；t h e yt r yt o r e s e a r c hi nt h ec o d i n gm e t h o d ，c o n t r o l l i n gp a r a m e t e r s ，a n dc r o s sm e c h a n i s ma n ds o o n t h i st h e s i si nr e f e r e n c et op r e v i o u sr e s e a r c h ，o nt h eb a s i so fc u r r e n tr e s e a r c ho n a l g o r i t h mo ft h ef i x i n gt e s tp a p e r , a i m sa tt h eq u a l i t yo fs t r u c t u r ea n ds p e e do ff i x i n g t e s tp a p e r , e t c f o c u so ng aa p p l i c a t i o ni nt h ef i e l do fi n t e l l i g e n tf i x i n gt e s tp a p e r t h i sp a p e ri n c l u d e st h ef o l l o w i n g a s p e c t s ： f k s t l y ，s t a r t i n gf o r mt h e o r yo ft h ei n t e l l i g e n tf i x i n gt e s tp a p e r , c o m b i n i n g 、析t h t h ep r a c t i c a lp r o b l e m si nt e a c h i n g ，t h i sp a p e ra n a l y z e sf i x i n gt e s t p a p e rp r o b l e m s d e e p l y ，c o m p a r e sd i f f e r e n tf i x i n g t e s t p a p e rs t r a t e g i e s ，a n d a r r i v e sa tt h e m u l t i o b j e c t i v ef u n c t i o nm a t h e m a t i c a lm o d e l i n gw h i c hb a s e do nt h ec l a s s i c a lt e s t t h e o r y s e c o n d l y , f o c u so nt h ed e s c r i p t i o na n da n a l y s i so fp r e m a t u r i t ya n dc o n v e r g e n c e o fg 八c o m p a r e 谢也t r a d i t i o n a lg aa n dt h e a d a p t i v ea l g o r i t h m ，b a s e do nt h e c o m b i n a t i o no f p r a c t i c a lp r o b l e m s ，t h i sp a p e rr e s e a r c h e so nl o c a lc o n v e r g e n c ea n dt h e c o n v e r g e n c es p e e dp r o b l e m sc a u s e db yl e s sp o p u l a t i o nd i v e r s i t y u s i n gr e a ln u m b e r c o d i n g ，t h eo p t i m a ls e l e c t i o ns t r a t e g yb yc e r t a i n t y , a n dt h eu n i f o r mm u t a t i o ns t r a t e g y a f t e rt h ea r i t h m e t i cc r o s s o v e r , b e c a u s eo ft h ef e a t u r et h a tg ai sa ne v o l u t i o n a r y a l g o r i t h ma c c o r d i n g 、撕t 1 1c u l t u r a la l g o r i t h mf r a m e w o r kr e q u i r e d g ai sa p p l i e do nt h e p o p u l a t i o ns p a c eo fc u l t u r a la l g o r i t h m t h ec o m b i n a t i o no fb o t ha l g o r i t h m si su s e di n i n t e l l i g e n ti t e mb a n ks t r m e g yr e s e a r c h ；f 撕t 1 1s p a c eg u i d e st h ep o p u l a t i o ne v o l u t i o n i i i 广东工业人学硕士学位论文 e f f e c t i v e l y , i m p r o v e sc o n v e r g e n c es p e e da n dt h eq u a l i t yo ff i x i n g t e s t p a p e r e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ei m p r o v e da l g o r i t h mh a sb e t t e rg l o b a ls e a r c h c a p a b i l i t ya n dc o n v e r g e n c es p e e d a l s oi m p r o v e do b v i o u s l y f i n a l l y , c o m b i n e st h ei n t e l l i g e n tf i x i n gt e s tp a p e ra n dg a ，s e t sb a s i cp a r a m e t e r s a n dg e n e t i co p e r a t o r so p e r a t i n gp r o b a b i l i t yb yu s e r , t h e nf i x e st e s tp a p e rb yi m p r o v e d a d a p t i v eg e n e t i ca l g o r i t h m t h es i m u l a t i o ne x p e r i m e n t sp r o v e t h a tt h ei m p r o v e dg a i de f f i c i e n t ，a n dt h et e s tp a p e rh a sr e a s o n a b l es t r u c t u r e t h i sp a p e rf o c u so nm a t h e m a t i c a lm o d e l i n go fa u t o m a t i cf i x i n gp r o b l e m ，t h eq u a l i t y o ff i x e dt e s tp a p e ra n dt h es p e e do ff i x i n gt e s tp a p e r , r e s e a r c h e st h ea p p l i c a t i o no ft h e i m p r o v e dg ai ni n t e l l i g e n tf i x i n gt e s tp a p e ra l g o r i t h m ；e s t a b l i s h e sm u l t i o b je c t i v e m e a s u r e m e n tf u n c t i o nm a t h e m a t i c a lm o d e l i n gb a s e do nc l a s s i c a lt e s tt h e o r y , a n d d y n a m i cr e g u l a t e sf i t n e s sf u n c t i o nb yt h ei m p r o v e dg e n e t i co p e r a t i o n ，a c h i e v e st h e p e r f o r m a n c eo fo p t i m i z a t i o n s o m ev a l u a b l e t h e o r e t i c a lt h o u g h t sa n dp r a c t i c a l a p p l i c a t i o nc a nb eo b t a i n e dt h r o u g ht h et e s ta n ds i m u l a t i o n t h er e s u l t sc a nh e l p m a c r o s c o p i c a l l yg u i d et h ec o u r s et e a c h i n g ，a n dm a k em a n a g e m e n t m o r es c i e n t i f i ca n d s t a n d a r d i z e d ，p r o v i d e sn e wi m p l e m e n t a t i o ni d e a sf o rr e f l e c t i n gp r a c t i c a lt e a c h i n g e f f e c ta n de v a l u a t i o ni nam o r eo b j e c t i v e ，r e a l i s t i c ，c o m p r e h e n s i v e ，r a p i dw a y k e y w o r d s ：g a ；i n t e l l i g e n tf i x i n gt e s tp a p e r ；c l a s s i c a lt e s tt h e o r y ；c o n v e r g e n c e ； m a t h e m a t i c a lm o d e l i n g i v 独创性声明 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献 均己在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 论文作者擀捧善谰 指导教师签字： 年d 第一章绪论 第一章绪论 1 1 智能组卷的研究现状 试题库的发展是随着教育和学习网络化的趋势而变得普遍流行的，目前我国 的试题库系统已经逐渐发展起来，有许多公司都致力于教育平台的软件开发，并 且在试题库的成卷过程中越趋于智能。网络考试系统目前有两大类：一是基于局 域网的网络考试系统，主要是采用c s 模式的考试系统，例如计算机等级考试、 职业技能考试等，二是基于b s 的网络考试系统，主要用于高校的在线考试n ”。 国内外已有一些基于b s 的考试与测评系统，比如，我国的计算机等级考试、以 及一些教育研究机构自主研发的在线考试系统：具有教学题库管理、自动试卷生 成、网上测验、网上练习、自动成绩统计分析等多项功能的清华泰豪网络考试系 统；基于先进的网络编程技术，运行于w i n d o w s 2 0 0 0 操作系统，集网络出题、 联机考试、网上自测、实时评判、考试成绩分析评估于一体的汇杰网络考试系统 等，国际上c i s c o 的c c n a 、c c n p ；微软的m c s e 、m d b a 、s u n 的j a v a 、s o l a r i s u n i x 、l i p 的各类信息技术认证考试等等b ，。 目前，国内的考试系统的成熟度远远不及国外，而考试系统亟待解决的问题 是主观题评分、智能组卷、安全性问题。智能组卷作为试卷质量保证的关键是首 要解决的问题。目前应用于考试系统的组卷方式主要有人工组卷，系统模板自动 随机组卷，智能组卷三种方式。人工组卷主要是由教师根据教学考试大纲，凭借 自己的教学经验从试题库中一一选出试题组成试卷的过程；系统模板自动随机组 卷是指教师登陆考试系统组卷模块，通过系统提供的组卷参数设置，如教师输入 试卷总分、题型数量和分数等参数并提交，组卷系统将从试题库中随机抽取试题 组成试卷；智能组卷则是系统根据教师所给出的难度，知识点等期望值参数，通 过算法分析自动组出合理科学的考试试卷。其中第三种组卷方式解决了人工组 卷的繁杂性，也解决了随机组卷的随机性和不科学性。 智能组卷是指用户通过指定组卷参数并提交系统，系统将根据接收到的组卷 参数，利用一定的组卷算法，自动地从题库中抽取合适的试题，其智能性在于算 法的实现，而且组出的试卷既能满足教学要求又能满足用户要求，组卷通常具有 广东工业大学硕士学位论文 随机性、科学性、合理性等特点。通常智能组卷采用随机抽取法和回溯试探法， 但由于所耗费的组卷时间长，且组卷成功率低，所以需要寻求一种更好的算法来 实现组卷。目前研究比较多的是基于遗传算法的智能组卷，利用遗传算法的内在 并行性、良好的寻优能力等特点，构建满足组卷约束条件的数学模型，高效合理 地解决试题库智能组卷的问题呻，。 1 2 智能组卷的研究目的和意义 高校计算机教学随着计算机技术的发展和广泛应用不断地向高科技教学发 展，当计算机逐渐深入到我们工作、学习和生活的各个领域，以计算机网络方式 获取信息和信息交流已经成为当代信息社会的一个重要特征，而计算机软件的产 生使人机交互变得更加简单、方便，利用教学软件开展的多媒体网络课程己经越 来越多地进入了师生的学习生活之中，考试系统作为教学评估软件已经逐渐成为 高校研究的重点项目。许多专家也都经过了很多尝试，希望通过相应的理论支持， 致力于组卷策略的研究，建立一个真正能够客观体现学生的知识掌握能力的考试 系统。迄今为止，国内并未形成一个非常完善的智能题库系统。 而学校举行的各种期中期末考试，国家举办的各种计算机、英语等级考试的 目的，4 , n 体现考生掌握知识的能力，大到为适应社会主义市场经济建设的需要， 尤其是等级考试的举办，一方面是为了促进计算机、英语等的推广，另一方面是 为用人部门录用和考核工作人员提供一个统一、客观、公正的评价标准。传统考 试方式主要是以纸和笔为主要工具，其弊端日渐明显：繁重的教师组卷、组织学 生考试、监考、阅卷，学生常因客观环境的影响而无法正常发挥，考务组繁琐冗 余的考务管理工作以及试卷归档工作，这些都让考试在人力、物力、财力方面花 费太多。鉴于日趋网络化教学的需求，高校迫切需要一个能根据不同的专业与课 程要求，在保证组卷质量的前提下能够快速进行组卷的系统。系统具备一定的通 用性与安全性，特别是按题类的衡量标准，能实现通过难度系数与知识点的分类 设置，实现与常规人工组卷不同的带有一定智能组卷策略的科学的题库与组卷系 统是非常有必要的。 智能组卷是知识领域的一种人工智能，是以科学和庞大的题库作为平台，由 各种教学理论作为研究基础，以具有很好寻优能力的组卷算法来完成的组卷方 2 第一章绪论 式。米尔曼和阿特把题库定义为：一个容易取得测验题目的相对大的项目集合。 题库的建立需要一个性能很好的数据库，而题库中所有试题必须是合理科学的， 并且试题的难度、区分度等衡量标准必须是统一规定的。目前主要的组卷教学理 论有教育测量学、考试学、教育统计学的理论和方法等，而遗传算法是一种基于 生物自然选择和基因遗传原理的随机优化搜索算法。由于它具有强鲁棒性、隐并 行性、对问题的独立性以及适值函数的开放性等传统优化算法所不具备的优势， 因而被广泛应用于科学、工程、经济等各个领域。因此，用经典测量理论指导基 于遗传算法的智能组卷能使组出的试卷更加接近教师的期望值，并能更科学反应 学生的知识掌握水平。 1 3 遗传算法在组卷中的应用 迄今为止，在生物进化机理的启发下，人们已经成功地解决了各种各样生活 中的难题。许多专家致力于遗传算法的研究，并将其应用于智能组卷，取得了各 种成果。 文献【7 】中提出一种改进的遗传算法作为组卷策略，采用符号编码解决遗传 过程中的约束条件问题；采用“非优超排序法进行评价，在选择算子上既能复 制较好个体，又体现选择的概率性；采用基于数据仓库的最优解保存策略，使搜 索结果呈现出丰富的p a r e t o 解集。 文献 8 中给出一种基于概率论和自适应遗传算法的智能抽题算法模型，以 概率论为基础初始化组卷参数，并用自适应遗传算法进行抽题，采用实数编码， 克n - - 进制编码计算量大、引入量化误差、权的表示精度受到限制等缺点，取消 编码、解码的过程，明显缩短求解时间，在进化时表现出很好的搜索性能。 文献 9 中提出一种基于i r t 的组卷自适应遗传算法，突破经典测试理论的 局限性，将被试特质水平与被试在项目上的行为相关联并将其参数化、模型化。 较好地解决了智能组卷过程中的约束化问题。 文献 1 0 针对组卷算法效率低的问题，提出能够充分利用变区域遗传算法的 并行搜索和t a b u 强局部搜索能力的混合组卷算法，并应用于组卷中，提高组卷 效率和选题质量。 文献 11 】中从算法的合理性、实用性和可操作性上加以分析和设计，利用遗 广东工业大学硕士学位论文 传算法的自适应寻优和良好的智能搜索技术的优点，以及模拟退火算法的全局寻 优，能用随机搜索技术从概率意义上找出目标函数的全局最小点的功能，将遗传 算法和模拟退火算法相结合来创建数学模型，该算法应用于智能组卷中，提高了 组卷的效率和成功率。 文献f 1 2 提出了一种新的基于启发式遗传算法的智能组卷算法。新算法利用 组卷过程中与目标约束条件的误差进行诱惑，使基因变异产生的子代具有更好的 性能，从而确保上代群体优势能够沿着有利于最终问题求解的方向进行传递，有 效地降低无效试卷所导致的系统开销，提高智能组卷性能。 文献 13 】利用遗传算法是符合文化算法要求的进化算法这一特性，将其作 为文化算法的种群空间，并将两者有机结合地应用于智能题库的组卷操作中，使 智能组卷过程中产生的局部最优解逐渐更新于信念空间，信念空间将每种题型的 每个局部最优解的属性抽取，归纳总结后生成相应的影响函数，更高效的指引种 群的进化。通过文化算法信念空间提取有用信息，大大提高收敛速度。 综上所述，如文献 7 9 ，1 1 中，可以通过处理组卷约束问题、遗传操作算 子来提高组卷算法的性能、效率和试卷质量，文献 1 0 ，1 2 1 3 中将遗传算法与 其他优化算法相结合，形成一种优势互补的算法，这样也能大大提高组卷的性能 和成功率。本文将采用这样一种思想，采用一种合理的遗传操作，并结合一种与 遗传算法优势互补的算法来进行进化搜索，以达到较好解决遗传算法的收敛性和 早熟问题的目的。 1 4 本文主要研究内容和结构 本文主要的研究内容是结合目前的组卷算法研究，以及组卷实际应用，针对 组卷结构质量和组卷速度问题，在现有的研究基础上，更加深入地对遗传算法在 组卷领域中的应用研究。主要从以下几个方面开展工作： 1 分析国内外在智能组卷领域研究的现状，从组卷问题入手，采用经典测量理 论，对试题库中的试题属性进行多目标函数数学建模。 2 针对遗传算法的基本操作和适应度函数进行改进，验证改进的遗传算法具有 良好的全局收敛性和较快的收敛速度。 3 使用基于改进的遗传算法进行智能组卷仿真实验，通过大量的实验数据来验 4 第一章绪论 证改进的遗传算法进行智能组卷算法及组卷结构的合理性，解决和改善组卷 结构质量与组卷速度问题，提高组卷效率并具备良好的智能性。 1 5 本章小结 在本章中，重点介绍了智能组卷目前的国内外研究现状，论述了智能组卷的 研究目的和意义，从遗传算法在组卷中的应用引出本文的主要研究内容与预期的 目标。 广东工业大学硕上学位论文 第二章智能组卷的相关理论和数学模型 2 1 智能组卷的理论基础 智能组卷是知识领域的人工智能，其成卷质量是通过测验进行评估的，是按 照一定的教育测试理论，在计算机系统中实现的一种模拟组卷功能。当前，考试 的指导理论是一种解释测试资料和实证关系的系统理论学说的测试理论，主要有 两种：以真分数理论为代表的经典测试理论( c l a s s i c a lt e s tt h e o r y 简称c t t ) 和以 非线性的概率模型为代表的项目反应理论( i t e mr e s p o n s et h e o r y 简称i r t ) 。经典 测试理论采用的是线性的定性模型；项目反应理论采用的是非线性的概率模型。 两种理论的核心部分都是数学模型，但它们是基于不同的假设提出的，本文采用 经典测试理论作为理论依据。 教育测验系统通常分为常模参照测验和标准参照测验。常模参照测验以被试 总体为参照系，以评价被试在团体中的相对地位的一种测量与评价类型。常模参 照测验参照的标准是对团体进行测验以后确定的，目的在于考查被试的个体差 异；而标准参照测验以教学目标为参照系，以学生是否达到教学目标来评价学生 的学习成就，参照标准是在测验以前确定的，它关心的是评价对象达标的程度。 两种测验方式在各个项目的比较如表2 - 1 所示n “。 表2 1 常模参照测验与标准参照测验的比较 t a b l e 2 1c o n t r a s to f n o r m st ot e s ta n dt h ec r i t e r i o n r e f e r e n c e dt e s t 鉴于高校考试目的，一般采用常规参照测验模式，这样有利于学生成绩评定， 6 第二章智能组卷的相关理论和数学模型 区别不同学生的知识掌握水平。 2 1 1 经典测试理论 经典测试理论的研究始于2 0 世纪初，直到5 0 年代才逐步形成完整的体系。 经典测量理论采用真分数理论，是指被测者在所测特质( 如能力、知识、个性等) 上的真实值，i i p ( t r u es c o r e ) 真分数。而我们通过一定测量工具( 如测验量表和测 量仪器) 进行测量，在测量工具上直接获得的值( 读数) ，叫观测值或观察分数。 可以看出，测试的得分应该看作是真分数和误差分数的线性组合。真实分数的值 相当于观察分数分离误差分数后的值。它对测验分数的意义和性质所作的解释建 立在三个基本假设之上n 矾： 测验的观察分数x ，可看作真分数t 和测验误差分数e 的线性组合，即： x = t + e 。 误差分数的数学期望为零。 任何两次测验所产生的误差相互独立。 在这些假设基础上，真分数理论作出了如下两个重要推论：第一，真分数等 于实得分数的平均数( t = e ) ) ；第二，在一组测量分数中，实得分数的变异 数( 方差) 等于真分数的变异数( 方差) 与误差分数的变异数( 方差) 之和。即 ( s 2 x = s 2 t + s 2 e ) 。经典测试理论建立了一系列测验题目的统计分析技术，包 括难度、区分度、信度、效度等理论。难度是指测试题目的难易程度在常规考 试中，它可以用来衡量试卷的质量标准，一般采用某题目的通过率或平均得分率， 也可以由教学经验丰富的专家人为指定，因此，测试题目难度的高低取决于考试 的目的、性质以及考试形式；区分度就是测试能达到预期区分要求的程度，如果 测试结果能区分被试者的特质，包含被试特质量上的差异，而且被试者能通过测 试明显区分其差异性，那么该测试就有很好的区分度，区分度和难度共同影响并 决定试卷的鉴别性；信度是测量理论中最重要的核心概念，指测量结果的可靠性 程度，在经典测试理论中定义为：一组测量分数的真分数的方差( 变异数) 在总 方差( 总变异数) 中所占的比率；测量的效度是指测量结果的有效性程度，是任 何一种测试首要解决的问题，对测量效度的评价是一个很复杂、抽象的问题，尤 其对人的潜在特质的测量方面更加显得困难，效度理论中提出对这样的观念构想 7 广东t 业大学硕士学位论文 的测量方法有很多，主要还是采用间接法，也就是通过测试经过人大脑后的实际 反应结果来进行测量，这样效度的工作也就转化为弄清楚信号传入大脑后，哪种 ( 哪些或最主要是哪一种) 特质参与了对输入信号的处理。 2 1 2 经典测试理论( c t t ) 的优点 经典测验理论以随机抽样理论为基础，建立了简单的数学模型，并以其成熟 的体系结构，在各行各业都受到了研究人员的重视，c t t 发展到今天，已经成 为其他测验理论赖以产生的基石，虽然经典测试理论在测验参数( 如难度和区分 度) 依赖于特定的被试样本；而且测验结果的可比性差，只有当所有被试都实施 相同的测验题目或其平行复本时测验结果才是可比的，但是随着新的测验理论崛 起体系的逐步完善，c t t 在教育理论体系中仍然占有举足轻重的地位，那是因 为c t t 有不可或缺的优点n 叱 建立在较简单的数学模型之上，易于被人理解和接受，且计算简便，容易推 广。 理论假设较弱，对实施条件要求不严格，适用性广。 在多数情况下c t t 是足够精确的，可以放心地应用。 经典测试理论的理论体系非常完备，在高校的阶段性考试中具备很强的指导 性作用，根据经典测量理论体系中的难度、区分度、信度、效度测量理论用于题 库系统的试题属性建模与评价、试卷属性建模与评价；而体系中的常规以及标准 化概念可用于常规测试和标准化测试的理论依据，利用经典测试理论的不可或缺 的优点完全可以满足现在高校常规考试的理论要求。 2 2 组卷问题和方法比较 2 2 1 智能组卷的问题描述 组卷的目的是为了生成一份科学合理的试卷，并能通过该试卷科学地测试出 被试者知识掌握程度和技能水平，使被试者了解自己的能力层次，并做出相应的 学习补偿；同时使出卷者能把握教学任务，根据测试结果指定不同能力层次的教 学任务。因此组卷系统必须要符合教学大纲要求，生成的试卷必须符合考试学的 8 第二章智能组卷的相关理论和数学模型 基本原理，考试结果必须同出卷人的期望值相一致。组卷系统的试题主要来源于 题库，对于组卷参数和组卷问题的描述，其根本还得追溯到试题的描述，试题基 本属性的约束指标的集合就是对试卷的一种模糊约束n n ”。 根据国家教育部的远程教育资源规范的建议，可以设定以下试题属性，如表 2 2 所示。 表2 - 2 试题属性 t a b l e 2 2t e s ta t t r i b u t e s 属性名属性描述 试题i d 试题类型 试题分数 知识点范围 试题难度 试题内容 试题答案 出题人 出题时间 曝光数 试题在数据库中的i d 号 试题所属类型，分为单选题、多选题、填空题、问答题、判断题等 试题在试卷中所占的分值 试题所属大纲中的知识点章节范围 试题的难易程度，分为较易、容易、中等、较难、难 试题的具体内容，包括题目和选择支 试题的正确答案 上传本试题的教师或管理员名字 上传本试题的时间 本试题用于考试的曝光次数 组卷系统设计者可以通过属性的优先权策略进行属性的相关类别的设计与 各类相关参数的设置。 2 2 2 智能组卷的策略及比较 智能组卷策略是指题库系统进行组卷的方式方法，是题库系统能否自动生成 科学合理试卷的关键因素。组卷策略设计主要涉及组卷指标的数量化分配、卷面 分数分配等问题的解决方案。 在组卷时，用户要提出组卷要求，通常包括题目章节或知识点范围、题型、 各种题型数量等方面。例如试卷区分度的大小，按照测验目标各章节或知识点内 容所占比例数，每种题型在试卷中所占的比例，各难度级别在试卷中所占比例， 难度与时间的比例等要求。系统需得到量化过的组卷要求才能完成组卷工作，智 能组卷中采用一定的组卷策略，能自动完成组卷指标的量化过程，主要使用的组 9 广东_ t 业大学硕士学位论文 卷策略目前有以下几种n 钉啪，： 1 随机策略 利用随机策略抽题的最大特点是在于用户需先设置好一个分布均匀的随机 数发生器，依据发生器所产生的随机数序列进行抽题，可以避免抽题的重复性。 这种方法过程设计简单，但是组卷时间花费大，而且常常会因为约束条件的局部 满足而导致组卷失败。 2 回溯策略 回溯策略解决了随机策略组卷无效问题，随机组卷随着选题数的增加，指标 之间的约束度越来越大，很可能会出现试卷指标超出误差范围，或者组卷停滞不 前的现象，采用回溯策略，可将随机组卷中的每一状态记录下来，当搜索失败时 再释放上次记录的状态类型，然后再按照一定的规律变化一种新的状态进行搜 索，通过不断地回溯直到试卷生成完毕为止。利用回溯法组卷，如果直到将试题 库中的试题完全遍历后才能完成组卷，那么查询这个庞大题库的时间将不容忽 视，因此比较适合题库容量比较小的系统组卷。 3 优先权策略 组卷过程中会出现试题属性相互牵制的问题，比如一道待选试题某个属性达 到预定值，而另一属性超过预定值的现象。为了缓和这一矛盾，可采用优先权的方 法进行选题。通过减少试题库中某类试题的数量来减小选题范围，范围越小的题 型越需要优先考虑；通过获得某类题型的平均分数，提前选择与指标匹配难度大 的试题；优先考虑完成率低的某类试题，防止到组卷最后因完成率低而不被考虑； 某类试题累计值( 已选中) 与指标值之间的差距越大，说明越需要补充，优先权就应 越高。优先权是根据每道题的各个综合方面进行的动态调整的。 4 补偿策略 补偿策略是为了防止组卷进入死循环而采用的一种方法，允许一定的组卷误 差，可以提高组卷的效率和成功率。其基本思想是，当某一指标的累计值出现正 ( 负) 误差是在指定允许的范围内，则接受当前搜索结果，而让那些尚未达到指 标值且又允许存在一定负误差的指标作相应减少( 增加) ，由此保证指标的平衡 和试卷的满意度。 利用各种组卷策略的互补特性，许多研究人员进行策略的整合研究，并进行 算法的改进，一定程度上提高了组卷的效率，进一步增强了组卷的有效性，但是 1 0 第二章智能组卷的相关理论和数学模型 对于大型题库的组卷，这些策略存在很大的缺陷，缺乏智能性和组卷时间上的问 题尤其突出。 2 3 智能组卷数学模型 2 3 1 基于经典测量理论的数学模型 1 试题属性 ( 1 ) 试题难度 试题难度是指题目的难易程度，它主要是试题对学生知识掌握程度和学生本 身能力水平的适合程度的描述心”。当试题分数只采用二分值表示时( 通过为1 ， 不通过为0 ) ，难度通常以通过率来表示： p = r n ( 2 1 ) 式中：p 为试题难度值；r 为答对该题的学生人数时；n 为参加考试的全体人数。 当试题的分数采用多分值表示时，试题难度通常表示为该题上的平均分与该 题满分的比例： y 尸= 导 ( 2 2 ) 式中：p 为试题难度值；x 为全体学生考试在该题上的平均得分；x 是该题满分。 题目难度水平的适当与否，取决于测验的目的、性质和题目的形成。对于一 般的常模参照测验而言，其目的主要在于测量个体差异，当p 值接近于o 5 0 时， 题目才能把被试做最大程度的区分。但在实际工作中，若每一道题目的难度值均 为0 5 0 ，那么此测验很可能只能区分出好与差两种极端被试的差异，却不能对各 种被试作更精确地区分。因此一般只要求测验题目的平均难度为o 5 0 。而在标准 参照测验中，可以不必过多地考虑难度，只要施测者认为重要的内容就可以采用。 ( 2 ) 区分度 试题区分度衡量的是测验试题对不同水平的学生区分程度，是测试的效度， 其数值越高，说明试题质量越高，设计得越好恤，。区分度分析主要考察考生在每 个题目上测试所得的分数与测试总分数之间的相关程度。对于同一道试题，分别 给不同学业水平和实际能力的考生考试，如果低水平的人全部答错，而能力高的 广东工业大学硕士学位论文 人全部答对，那么该试题的区分度是非常好。 区分度通过比较高分组和低分组在该题上的通过率的差值来计算，计算公式 如下： d = b 一忍 ( 2 3 ) 式中：d 为鉴别指数；易为高分组通过率；e l 为低分组通过率。 美国测量学家伊贝尔( r l e b e l ) 根据自己编制测验的经验提出了从鉴别指 数上评价试题的标准如表2 3 所示。 表2 - 3 试题评价标准 t a b l e 2 气s t a n d a r do ft e s te v a l u a t i o n 区分度值评价 0 4 0 以上 o 3 m d 3 9 0 2 0 d 2 9 0 1 9 以下 优良 合格 尚可，需修改 应淘汰 2 试卷质量评估属性 试卷的质量评估主要是通过的信度与效度来进行测量。 ( 1 ) 试卷的信度 试卷的信度是指试卷通过学生测验所达到的可靠性的指标。如果在考试环境 相同、考生能力水平一致的条件下，经过多次测验相同试题j 所得测验分数基本 一致，那么这个试卷的信度是较高的；反之，信度就比较低。由于试卷信度受试 题本身的质量以及评分的可靠性影响，所产生的实际结果会同期望值有一定误 差，根据不同误差来源可将信度分为重测信度、分半信度、评分者信度等，最常 用的是分半信度。分半法的关键在于如何将测验分半。分半信度通常将测验施测 于某被试群体，并将测验分半，通过皮尔逊相关系数测试被试在每一半测验上的 分数的一致性程度。在实际应用中，将测验试题根据题型分成若干块，再将各块 的题目奇数题和偶数题分半并各自组成一个分测验，然后计算两半测验得分的皮 尔逊相关系数，计算公式如下，： 1 2 第二章智能组卷的相关理论和数学模型 卅一簧 ( 2 4 ) 式中： 为两半测验间的相关系数。为两半测验分数之差的方差，砖为整 个测验总分的方差。 而试卷的信度计算为： k = 2 m ( i 0 + 名m ) ( 2 5 )k = z m+ 名j( 2 5 ) 式中：k 为测验的信度，屯为两半测验问的相关系数。 ( 2 ) 试卷的效度 试卷的效度是指测验的准确度，即一份试卷通过测验，所能测出被试者特性 的程度。可分为内容效度、效标关联效度和构想效度。内容效度是测验内容与测 验目标的一致性程度，是一种定性分析的方法，通常由专家对测验题目所涉及的 内容范围进行符合性判断来确定内容效度。效标关联效度就是考察测验分数与效 标( 被预测的行为对测验是否有效的标准) 的关系住”。构想效度是指测验所提供 的数据同理念假设的符合程度。试卷的构想效度计算公式如下： 2 砉b ( 2 6 ) 式中：d 为每一试题的区分度，k 为试卷中试题的数目。 2 3 2 基于多目标函数的数学模型 组卷系统是模拟常规考试流程和功能而实现，因此必须具备常规考试标准， 针对试卷质量要求，组卷过程需遵照以下规则： 1 试卷内容必须符合考试大纲要求，考查覆盖面广，考查知识点分布合理，内 容精选且符合代表性。 2 各题型的难度分配适中，以保证试卷的信度和区分度。按试题属性的重要程 度( 试题难度、区分度、知识点等属性) 来控制组卷过程，保证试卷的效度； 根据考试目的，如选拔性考试中在加大难度的同时还需避免难度过高，而水 平考试中需难度适中，掌握好合格标准线，力求生成的试卷能满足相应的考 试功能要求，具备良好的区分度。 3 试题之间要相互独立。尽量避免一套题中重复多次出现相同考点的试题，防 广东t 业大学硕十学位论文 止考生误以为试题之间存在提示和答案推理。 4 试卷中试题编排合理，按照常规试卷出题，试题按照类型编排，且同类试题 中，先易后难。 5 试卷的分值和考试时间比例分配，根据被试者能力层次和试题的难易、考查 方式来合理分配考试时间、试题分值。 试题库中试题以及试卷通常具备基本属性，这些基本属性构成了成卷约束条 件。通常试题最重要的约束指标可以归纳为题型、题分、答题时间、知识点、难 度、曝光度等基本指标。因此如果一张试卷需要m 道题，每道题有n 个属性，那 么组出的试卷的约束指标便是一个m n 矩阵汹1 。 s = a n a 2 1 以m l a l z a 2 2 a m 2 智能组卷就是需要通过给定参数值，比如试卷的期望难度值、期望区分度值 等，自动分配各种题型所需的难度和区分度等比例，其比例值必须满足矩阵给定 的约束条件，即满足在矩阵每列上提出的要求。当然，实际操作中一般不能完全 符合期望值要求，因此能使得最后生成试题的指标值能与用户指定指标的误差值 最小，就是组卷的最优方法。 上述目标矩阵必须满足以下约束条件啪，： 1 ) 试题题型约束，试题题型a i ，可设置为1 、2 、3 、4 、5 ，分别代表单选题、多 选题、填空题、问答题、判断题。 2 ) 题分约束，每种题型的总分是由用户指定，需满足 c ，= 口a i ( 2 7 ) i = l 其中c ，为每种题型的分数，必须满足用户指定题型分数，a i ：为试题分数。 3 )