计算机化自适应测验研究综述

1、 计算机化自适应测验研究综述 胡悦陈俊Summary 计算机化自适应测验（CAT）是教育测评发展的必然趋势。采用内容分析法，对19982016年4月公开发表在国内学术期刊的计算机化自适应测验相关论文以及硕博论文进行量的统计和质的分析，以期揭示19982016年4月，我国计算机化自适应测验的研究现状、问题及其主要成果，为相关学者的学习研究提供参考。Keys 计算机化自适应测验；文献研究；硕博论文G652 ：B：1671-489X（2017）04-0066-04Abstract Computerized adaptive testing is the inevitable trend of edu

2、cation evaluation development. We used the content analysis me-thod to analysis the statistical and qualitative characteristics of thesison computerized adaptive testing， which publish in the domestic aca-demic journals and the master and the doctor s thesis in 1998 to 2016in order to reveal the res

3、earch status， questions， and main achieve-ments of 1998 to 2016 domestic computerized adaptive testing， inorder to provide reference for the study and research related to aca-demics.Key words computerized adaptive testing； literature research； masterand the doctors thesis1 引言隨着时代的进步，许多大型测验（如GRE、TOEF

4、L等）1已经采用计算机化自适应测验，江西师范大学自1987年至今也编制了一系列的CAT2，未来测验的主要形式也将成为具有自适应性的测验。计算机化自适应测验（CAT）这种依靠大型题库灵活施测且因人施考的测验形式，正是符合当今社会需求的一种测验，也是未来测验发展的必然趋势。与传统测验相比，它针对不同水平层次的考生提供不同的题目，可以更加客观、准确地测验出考生的真实能力和水平，可实现测验的有效性。同时，计算机化自适应测验不会受考试时间与空间的限制，测验更加灵活，可保证测验的公平性。计算机化自适应测验正随着各种新的考试理论的发展而蓬勃发展。本文以“计算机化自适应测验”“计算机化自适应测试”“计算机化自

5、适应考试”为Keys，对中国知网资源库19982016年4月内文献进行整理、统计，分析得出我国计算机化自适应测验的研究综述。2 计算机化自适应测验简述从单机考试系统到计算机化自适应测验，考试作为衡量教育效果和学生能力的重要手段，正经历网络化、无纸化的变革3。计算机化自适应测验依靠大型题库，采用现代测量理论，自行去适应被试水平，灵活施测难度最恰当且性能优良的项目，从而实现对被试的高效测量4。2007年，Elissavet等提出计算机化自适应测验系统主要包括四部分：1）题库；2）选题策略；3）能力估计方法；4）终止条件5。张华华认为，在CAT中，怎样从题库中选择题目是一个重要的问题6。选题策略作为

6、CAT的重要组成部分，它的好坏直接影响到测验效率和题库的安全性以及测验的成本7。3 研究对象与数据来源研究对象 本研究的研究对象是19982016年4月公开发表在国内学术期刊上、在19982016年4月发表的硕博论文中关于计算机化自适应测验研究的学术性文章与论文。选取Keys为“计算机化自适应测验”“计算机化自适应测试”“计算机化自适应考试”，在中国期刊全文数据库以及硕博论文数据库中进行检索，经过检索并分拣，考虑到本文旨在整理与分析计算机自适应测验的研究成果，所以在统计时剔除非学术性文章，最终获得期刊文献64篇、硕博论文22篇。研究方法 本文采用文献研究法与内容分析法，并利用Microsoft

7、 Excel从论文的作者、作者署名单位、来源期刊、研究领域、研究内容等方面对检索到的86篇文献进行分类。由于硕博论文与期刊文章在内容与形式上有所区别，本研究将对硕博论文与期刊文章分别从不同的角度进行统计研究。4 数据统计与分析载文基本情况 19982016年4月国内学术期刊共登载了64篇计算机化自适应测验论文，硕博论文数据库中共有22篇计算机化自适应测验硕博论文，可见关于计算机化自适应测验研究的期刊文章明显多于硕博论文。以作者陈平为例，发表计算机化自适应测验相关期刊文章4篇，硕博论文1篇。笔者认为主要原因在于研究的产出比，每个硕博作者最终只能有一篇硕博论文，而期刊文章，一名作者可发表多篇，这在

8、很大程度上决定了硕博论文相对于期刊文章是一种低产的状态。硕博论文自2004年开始才有人研究计算机化自适应测验，而自1998年已经有学者开始研究并发表在期刊上，这也可以说明，对于计算机化自适应测验的研究，期刊文章对于硕博论文是具有一定的导向作用的。19982016年4月国内学术期刊登载的64篇计算机化自适应测验论文来自25种期刊，其中刊载文章数超过1篇的刊物有9种，按刊载文章数量对其由高到低排序如表1所示。其中有21篇公开发表在CSSCI来源期刊，占文献总数的32.81%。 由表1可以看出，江西师范大学学报心理学报中国考试心理科学进展是19982016年4月我国计算机化自适应测验研究论文发表的主

9、要期刊。其中有4种期刊是心理学相关期刊，共19篇文章；两种关于考试的期刊。由此可知，心理学理论对计算机化自适应测验的研究支撑度为29.69%，心理学为计算机化自适应测验的研究起到重要的支撑作用。研究者分析1）合作研究分析。19982016年4月国内学术期刊登载的64篇计算机化自适应测验论文中，独立作者发表的文章12篇，两人及以上作者发表的文章52篇，具体统计情况见表2。如表2所示，在这64篇文章中，合作研究的论文占总文章数的81.25%，平均作者数为2.44人。由此可见，我国19982016年4月计算机化自适应测验研究以合作研究为主。与此同时，合作研究也为高质量论文做出了貢献。发表在CSSCI

10、来源期刊的21篇文章中，以独立作者名义发表的论文数为两篇，所占比例为9.52%；合作发表的文章数为19篇，所占比例为90.48%。2）论文作者分析。对19982016年4月国内学术期刊登载的64篇计算机化自适应测验论文的作者进行统计，统计结果见表3。其中丁树良与甘登文所在单位为江西师范大学，辛涛和陈平所在单位为北京师范大学心理发展研究所，毛秀珍所在单位为四川师范大学。对作者合作研究的情况作进一步研究，参考科学知识图谱可视化分析方法8，对发表文章数量在2篇及以上的作者进行统计，结果见图1（图1中直线的粗细代表合作研究论文的数量，线条越粗代表合作文章数量越多，线条越细代表合作文章数量越少；独立作者

11、发表文章的数量利用圆圈表示，圆圈线条的粗细与直线线条粗细意义相同，且直线与圆圈线条均采用相同比例）。由图1可知，毛秀珍、辛涛、陈平、丁树良、甘登文形成学术研究团队效应，且丁树良和甘登文合作最为密切。3）文章作者单位排序。19982016年4月国内学术期刊登载的64篇计算机化自适应测验论文中，有5家单位发表超过两篇文章，见表4。19982016年4月发表在中国知网的硕博论文共22篇，分别来自7所不同的学校，见表5。由表1文章来源期刊排序表中也可以看到，发表在江西师范大学学报上的关于计算机化自适应测验文章最多，占总数的20.31%。由表3可知，发表论文最多的是江西师范大学的丁树良，占总数的31.2

12、5%；甘登文工作单位也为江西师范大学，发文数占总数的6.25%，两人共占37.5%。由表4可知，有42.18%的文章的作者单位为江西师范大学，那么由此可知，丁树良与甘登文两个人所发表的计算机化自适应测验文章占江西师范大学发表的相关文章的88.9%。由表5可知，72.73%的关于计算机化自适应测验的硕博论文出自江西师范大学。由此可见，江西师范大学是计算机化自适应测验研究的主要阵营，且以丁树良和甘登文为主要研究者。研究热点分析 本文采用内容分析法对在中国知网上搜索到的64篇期刊以及22篇硕博论文进行分析，由于是以“计算机化自适应测验”“计算机化自适应测试”“计算机化自适应考试”为Keys检索出来的

13、文章，因此，文章均围绕这3个Keys，出现的频次也最高。另外，“项目反应理论”“选题策略”“认知诊断”“能力估计”“最大信息量分层法”“等级反应模型”“影子题库”等词也是主要的研究热点。用于指导考试的测量理论有经典测验理论和项目反应理论9。其中Keys为项目反应理论的文章数最多，占总文章数的33.33%；Keys“选题策略”占总文章数的29.07%，仅次于“项目反应理论”，这也正是因为在自适应测试过程中的关键步骤是如何选择测试题目，即选题方法的设计10。其次为认知诊断以及能力估计。根据Keys出现的频率对研究热点进行统计，见图2（图2中为出现频率在两次及以上的Keys。每个Keys均用半径不同

14、的圆形表示。如“项目反应理论”出现的频次为28，则半径记为2.8，利用公式S=r2求取圆形的面积，绘制图2；两个Keys出现在同一篇文章中，用直线连接）。若想研究计算机化自适应测验，可从项目反应理论、选题策略、认知诊断等方面进行研究。研究领域分析 计算机化自适应测验成为无纸化考试与心理学测试关注的领域10。本研究从“理论探索”“选题策略”“系统设计与实现”“技术与方法”“问题与展望”5个领域对64篇期刊文章以及22篇硕博论文进行统计，论文研究细分领域统计见图3。由图3可知，期刊文章中，研究选题策略的文章最多，占31.25%；硕博论文中，研究选题策略的文章也最多，占40.90%。其次是对计算机化

15、自适应测验的技术与方法的研究，期刊和硕博论文分别占各自总数的23.44%和27.27%。期刊文章中有21.88%的是关于系统设计与实现研究的文章，22.73%的硕博论文是关于系统设计与实现研究的文章。无论是硕博论文还是期刊文章，关于选题策略的研究均最多。5 结语计算机化自适应测验弥补了传统考试在实现测验有效性中的不足，大大提高了测验的效率，能够更加准确地测出被试的真实能力与水平。且计算机化自适应测验摆脱了传统考试在时间与空间上所受的限制，可更好地确保测验的公平性。综观计算机化自适应测验文献综述情况：1）计算机化自适应测验研究形成以毛秀珍、辛涛、陈平、丁树良、甘登文为主的学术研究团队效应，且江西

16、师范大学为主要研究学校；2）计算机化自适应测验的主要研究热点为项目反应理论、选题策略、认知诊断、能力估计等，若想对计算机化自适应测验做深入研究，可从以上几方面进行；3）计算机化自适应测验研究中，有29.69%的文献是关于心理学的研究，这也正说明计算机化自适应测验这种测验形式已经将心理测量与计算机化自适应测验结合，且取得丰硕成果，若想对其他测验进行研究，可以心理测量为鉴来进行；4）近几年关于计算机化自适应测验的研究热度有所下降，研究总量有所减少，但研究深度没有减弱，仍有不少教育专家学者为优化未来测验形式与环境投身到计算机化自适应测验中。相信计算机化自适应测验在未来几年必将迅速发展和完善，为未来测

17、验提供更多选择。计算机化自适应测验也必将推动教育信息化的进程。Reference1陈平，丁树良，林海菁，等.等级反应模型下计算机化自适应测验选题策略J.心理学报，2006，38（3）：461-467.2刘珍，丁树良，林海菁.基于GPCM的计算机自适应测验选题策略比较J.心理学报，2008，40（5）：618-625.3申田静，陈俊.国内在线考试系统研究综述J.中国教育技术装备，2015（14）：19-22.4王茶生.教育测量理论在网络考试系统中的应用D.上海：华东师范大学软件学院，2007.5Georgiadou E， Triantafillou E. A Review of Item Exposure Control Strategies for Computerized Adaptive Testing Developed from 1983 to 2005J.The Journal of Technology， Leaning， and Assessment，2007，5（8）：39.6张华华，程莹.计