（外国语言学及应用语言学专业论文）基于网络的计算机适应性测试.pdf

论文摘要 随着测试理论和现代计算机技术以及网络技术的飞速发展，计算机化的测试 ( 尤其是基于网络的测试) 的应用愈来愈广泛。这种形式的测试不仅可以节省人 物、物力，而且可以使测试更为科学、更为有效。 基于网络的测试不是一种以网络为测试媒介的纸笔化考试。本文所介绍的是 一种基于项目反应理论( i t e mr e s p o n s et h e o r y , i r t ) 的新型网络化测试。i r t 理 论模型同传统的测试理论模型有着极大的不同。在传统的测验中，所有考生无论 水平高低都使用相同的题目进行测试，考生的得分取决于考生正确回答的题目 数。对于某个特定的考生而言，考试题目可能太过简单也可能太难。简单的题目 谁都会做，因此，此时该考生答对一道很容易的题目并不能说明什么：同样地， 该考生答错一道很难的题目也不能向我们提供关于该考生的能力水平的信息，只 有当考生所做的试题难度与其能力水平相当时，才能精确地测出该考生的能力水 平。因此，基于网络的计算机自适应测试( w e b b a s e d c o m p u t e r a d a p t i v e t e s t ，镯 称为w e b b a s e dc a t ) 也被称为是一种为考生“量身定做”的考试。 本文第一章简要介绍基于网络的计算机适应性测试并对其历史演变、优缺点 等进行初步探讨。 本文第二章简要分析基于网络的计算机适应性测试的理论基础一项目反应 理论。 本文第三章简要分析搭建这种测试的媒体一网络并简要介绍搭建这种测试 时所需涉及的相关技术。 本文第四章在前三章的基础上提出一个建立基于网络的自适应测试系统的 初步模型框架。 i | a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to ft h et e s t i n gt h e o r y a n dm o d e mc o m p u t e ra n d n e t w o r kt e c h n o l o g y , t h ec o m p u t e r - b a s e dt e s t ，e s p e c i m l yt h ew e b b a s e dc o m p u t e rt e s t ， i sb e c o m i n gi n c r e a s i n g l yp o p u l a r t h i sf o r mo f t e s t i n gw i l ln o to n l ys p a r eal o to f m a n p o w e ra n d m a t e r i a lr e s o u r c e sb mm a k et h et e s tm o r es c i e n t i f i ca n de f f i c i e n t i n s t e a do f b e i n gan e w v e r s i o no ft h ep a p e r - a n d p e n c i lt e s tw h i c ht a k e st h ew e ba s i t sm e d i u m ，t h ew e b - b a s e dt e s ti n t r o d u c e di nt h i sp a p e ri sa r t 酋, gf o r mo f t e s t i n gb a s e d o nt h ei t e mr e s p o n s et h e o r y ( i r t ) ，at h e o r yq u i t ed i f f e r e n tf r o mt h ec l a s s i c a lt e s t i n g t h e o r i e s ac l a s s i c a lf i x e d l e n g t he x a m p r e s e n t st h es a l r l en u m b e ro fq u e s t i o n st oe a c ht e s t t a k e r , r e g a r d l e s so f h o ww e l lt h ep e m o ui sp e r f o r m i n go nt h ee x a r f l 。t k es c o r ef r o m t h i st y p eo ft e s tu s u a l l yd e p e n d so nt h en u m b e ro fq u e s t i o n sa n s w e r e dc o r r e c t l y f o r a n yg i v e np e r s o n ，s o m eq u e s t i o n so nt h et e s ta r ef a rt o oe a s ya n ds o m ef a rt o oh a r d s c o r e sg a i n e do ne a s yq u e s t i o n sc a r la c t u a l l yt e l lv e r yl i t t l ea b o u tt h et e s tt a k e r , f o r n e a r l ye v e r y o n ei sc a p a b l eo fd o i n gs o l i k e w i s e ，t h et e s tt a k e r sw r o n ga n s w e r st o t h ed i f f i c u l tq u e s t i o n sa r eo fv e r yl i t t l es i g n i f i c a n c e b u to nt h ew e b b a s e dc o m p u t e r a d a p t i v et e s t ( w e b - b a s e dc a t ) ，t h ep o i n ta tw h i c ht h et e s tt a k e rb e g i n st of m dt h e q u e s t i o n sc h a l l e n g i n gi sr e c o r d e do nas c a l eo fd i f f i c u l t ya n di st h u sr e p o r t e di nt h e f o r mo ft e s t s c o r e t h e r e f o r e ，t h i st y p eo ft e s t ，b e i n gf 缸m o r ee f f e c t i v et h a nt h e c l a s s i c a lt y p e ，i sa l s or e f e r r e dt oa s a t a i l o r e d t e s t t h ef i r s t c h a p t e rm a k e sab r i e fi n t r o d u c t i o n t ot h ew e b b a s e dc a ti n c l u d i n g r a n d o mf a c t so fi t sh i s t o r i c a le v o l u t i o na n ds o m et e n t a t i v ev i e v d so ni t sm e r i t s t h es e c o n dc h a p t e rm a k e sab r i e fa n a l y s i so ft h ei t e mr e s p o n s et h e o r y , t h e t h e o r e t i c a lb a s i so ft h ew e b - b a s e dc a t t h et h i r dc h a p t e rm a k e sab r i e fi n t r o d u c t i o nt ot h en e t w o r k t h em e d i ao ft h e w e b b a s e dc a t , a n di t sr e l e v a n tt e c l m o l , ) g y t h ef i n a lp a p ；o ft h i sa r t i c l ep r o p o s e sat r i a lf r a m e w o r ko ft h ew e b - b a s e dc a t s y s t e mb a s e do n t h ep r e v i o u sc h a p t e r s ， i i 上海大学 本论文经答辩委员会全体委员审查，确认符合上海大学学位论文 质量要求 主篆, v 1 毫澎 孕谚彩鲁够荔) ，( 。 导 【1 币：翻 答辩日期：护中f ! 尸 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交 论文复印件，允许论文被查阅暑 惜阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：肄导师签名：牡 a c k n o w l e d g e m e n t s f i r s to fa l l ，1w o u l dl i k et oe x t e n d m ys i n c e r eg r a t i t u d e t o m y s u p e r v i s o r , p r o f e s s o rm i a ox u e w i t h o u th i sg u i d a n c ea n du n s w e r v i n g s u p p o r t ，t h ec o m p l e t i o n o ft h i st h e s i sw o u l dh a v eb e e n i m p o s s i b l e i tw a s h ew h o c o n s t a n t l ya d d e dt om yu n d e r s t a n d i n go fc a t a n dh a sb e e nm y f r e q u e n ts o u r c eo f m o r a ls u p p o r ta n dc o n s t r u c t i v ec r i t i c i s m s 1w o u l da l s ol i k et oe x t e n dm ys i n c e r et h a n k st om y t e a c h e r , z h a n g x i j i u ，w h o u s h e r e dm ei n t ot h e t e s t i n gt h e o r yr e s e a r c h 1w o u l da l s ol i k et oe x t e n dm ys i n c e r et h a n k st om ym o t h e r w i t h o u t h e rt e n d e rc a r ea n du n s w e r v i n gm o r a ls u p p o r t ，t h e c o m p l e t i o no ft h i s t h e s i sw o u l da l s oh a v eb e e no f n o p o s s i b i l i t y 型! ! ：! 竺! ! 兰! 翌2 1 1 竺垒! 翌! 竖! ! ! ! ! ! ! g c h a p t e r o n e a ni n t r o d u c t i o nt ot h ew e b b a s e d c o m p u t e ra d a p t i v e t e s t 1 1t h ed e f i n i t i o no f t h ew e b b a s e dc a t w e b - b a s e dc o m p u t e ra d a p t i v et e s t i n g ( a b b r e v i a t e da sw e b b a s e dc a t ) i san e w f o r mo f t e s t i n gw h i c hc o m b i n e st h ed e v e l o p m e n to f t r a d i t i o n a lc a tt h e o r ya n dt h e n e t w o r k ( e s p e c i a l l yt h ei n t e m e t ) a d a p t i v et e s t i n gw a s c a r r i e do u tl o n gb e f o r ec o m p u t e r a p p l i c a t i o n sw e r ea v a i l a b l e a n di ti sw i t ht h ea d v e n to ft h ec o m p u t e rt h a tt h i sf o r mo f t e s t i n gh a se n j o y e da n u n p r e c e d e n t e dd e v e l o p m e n t t h ec a t r e l i e sh e a v i l yo nt h ei t e mr e s p o n s et h e o r y ( i r t ) a n d t h ef l e x i l e v e lt e s t ( f t ) i n r e s p e c to f i t st h e o r e t i c a lb a s i s s o m ew e l l k n o w n s c h o l a r sh a v em a d et h e i ro w nd e f i n i t i o n so nt h i sn e wt e r m i n o l o g y c o m p u t e r a d a p t i v et e s t i n g ( c a t ) i s av a r i a t i o no ft a i l o r e d t e s t i n g w h i c h p e r m i t s t h e d e t e r m i n a t i o no ft h e s e q u e n c e o fi t e m se n c o u n t e r e dt ob eb a s e do nt h eo n g o i n g p a t t e mo f s u c c e s sa n df a i l u r ee x p e r i e n c e db y e x a m i n e e ”( h e n n i n g ，g r a n t ，2 0 0 1 ) a n d l a r s o n ( 1 9 8 9 ) a p p r o a c h e dt h ec a t i nt h i sw a y ：“t h ef u n c t i o no f a n a d a p t i v e t e s ti st o p r e s e n tt e s ti t e r n st oa l le x a m i n e ea c c o r d i n gt ot h ec o r r e c t n e s so f h i so rh e rp r e v i o u s r e s p o n s e s i fas t u d e n ta n s w e r sa ni t e mc o r r e c t l y , am o r ed i f f i c u l ti t e mi sp r e s e n t e d ； a n d c o n v e r s e y , i f a ni t e mi sa n s w e r e di n c o r r e c t l y , a l le a s i e ri t e mi sg i v e n i ns h o r t ，t h e t e s t “a d a p t s ”t ot h ee x a m i n e e sl e v e lo fa b i l i t y t h ec o m p u t e r sr o l ei st oe v a l u a t et h e s t u d e n t sr e s p o n s e ，s e l e c ta na p p r o p r i a t es u c c e e d i n gi t e ma n d d i s p l a yi to n t h es c r e e n t h ec o m p u t e ra l s on o t i f i e st h ee x a m i n e eo ft h ee n do f t h et e s ta n do fh i so rh e rl e v e l o fp e r f o r m a n c e ”w i mt h ed e v e l o p m e n ta n dp o p u l a r i t yo ft h en e t w o r k ，t h ec a ti s c a r r i e do u to nt h ew e bs ot h a tt h et e s tc a l lb em u c hm o r ea c c e s s i b l et ot h et e s t t a k e r s a n dt h ea p p l i c a t i o nb e c o m e sm u c hm o r ef l e x i b l e 1 2t h ef a c t o r st h a tc o n t r i b u t et ot h ea d o p t i o no ft h ew e b b a s e d c a t 幻i n t e r a c t i o nb e t w e e n t e a c h i n ga n dt e s t i n g t e a c h i n ga n dt e s t i n g a r es o c l o s e l y i n t e r r e l a t e dt h a tt e a c h i n ge x e r t sad e f i n i t e ! ! ! ：! 竺塑曼! 苎! 堡! 垒! 翌! ! ! ! ! ! 竺! ! g i n f l u e n c e u p o nt e s t i n g w h i c hi nt u r nc r e a t e sab a c k w a s he f f e c t u p o nt e a c h i n g p r o f e s s o rl it 李筱菊：t 9 9 7 ：4 5 ) c l a s s i f i e dt h ed e v e o p m e mo ft h ef o r e i g nl a n g u a g e t e a c h i n ga n dt e s t i n gi n t ot h r e eg e n e r a t i o n s i nt h ec l a s s i f i c a t i o nw ec a no b s e r v et h a t w h e n e v e ran e wf o r mo ft e a c h i n g a p p e a r s ，ac o r r e s p o n d i n g t e s t a p p e a r s a n d g e n e r a l l ys p e a k i n g ，t h et e s ta p p e a r si nt h ew a k eo f , a n di n t e r e s t i n g l yl i v e su s u a l l y l o n g e rt h a n ，i t sc o r r e s p o n d i n gt e a c h i n gm e t h o d c u r r e n t l y , i n c r e a s i n ga t t e n t i o ni sp a i d t ot h es t u d e n t sc o m m u n i c a t i v ec o m p e t e n c e ( m a i n l yt h el i n g u i s t i c ，d i s c o u r s ea n d p r a g m a t i cc o m p e t e n c e ) t h e c o m m u n i c a t i v e a p p r o a c h c a r r i e sw i t hi t m a n y a d v a n t a g e s ，b u t i t si m p l e m e n t a t i o ni si n v a r i a b l yc o n f r o n t e dw i t hg r e a t c h a l l e n g e s ，i ti s d i f f i c u l t ，f o re x a m p l e ，t oe n s l l r caq u a l i f i e df a c u l t yo rt h ev a l i d i t ya n dr e l i a b i l i t yo f t h e c o r r e s p o n d i n g t e s t a sa r e s u l t ，t h ef o r e i g nl a n g u a g et e a c h i n ga n dt e s t i n gv a r yi nt e r m s o fm e t h o d o l o g yw i t ht h e s e c o n d g e n e r a t i o nt e s t s t i l l d o m i n a t i n gt h et e s t i n gf i e l d t o d a y , w i t ht h ee m e r g e n c eo ft h ec o m p u t e ra n de s p e c i a l l yt h en e t w o r k ，t h eo n l i n e t e a c h i n gi sb e c o m i n gm o r e a n dm o r e p o p u l a r , w h i c hn a t u r a l l yg i v e sr i s et ot h eo n l i n e t e s t ，an e wf o r mo f t e s t i n gt h a tc o r r e s p o n d st ot h et r e n do f t e a c h i n g b 1m e e t i n gt h ed e m a n d s p l a c e db y 也e c u r r e n tt e s td e v e l o p m e n t w i t ht h ed e e p e n i n go ft h ee f f o r t st or e f o r ma n d o p e n i n g t ot h eo u t s i d ew o r l d ，t h e m a s t e r yo faf o r e i g nl a n g u a g eh a sb e c o m eac r u c i a lf a c t o r t ob et a k e ni n t o c o n s i d c r a t i o aw h e nab u s i n e s so rc o m p a n yr e c r u i t si t se e ws t a f f s t h i sh a sr e s u l t e di n t h ei n c r e a s i n gn u m b e r o f p e o p l ee n t e r i n gf o rv a r i o u sf o r e i g nl a n g u a g et e s t s h o w e v e r , t h ec u r r e n tl a r g e s c a l et e s t ss u c ha st h en m e t c e ta n dp e ta r eb l a m e df o rag r e a t w a s t eo ft i m ea n de n e r g y i nt h ea d m i n i s t r a t i o n ，l o wv a l i d i t ya n d r e l i a b i l i t y , a n dw e a k f e e d b a c k ( 孔文，李清华) i ft h ew e b ，b a s e dc a ti sa d o p t e d ，w i t ht h ea d v a n t a g e s t h r o w ni nb yt h en e t w o r ka n dt h et h e o r yo ft h ec a t , t h ea b o v e m e n t i o n e dp r o b l e m s w i l lb er e s o l v e di na g o o d m a n n e r , c ) m e e t i n g t h ed e m a n d s p l a c e db y t h et h e o r e t i c a ld e v e l o p m e n to f t e s t t h et r a d i t i o n a lt e s ti sa l w a y sp l a g u e db yl o wv a l i d i t ya n dr e l i a b i l i t ya n di t i sa l s o q u i t et i m e c o n s u m i n g a s e v e r y t e s t - t a k e rm u s ta n s w e r a l lt h e q u e s t i o n s i nt h e t e s t - p a p e rw h i c hm a y b et o oe a s yo rt o oh a r d w i t ht h ew e b - b a s e dc a t , t h e s et w o a n n o y i n gp r o b l e m sc a nb es o l v e dt os o m e e x t e n t i tc h e r i s h e si t sh i g hv a l i d i t ya n d r e l i a b i l i t ya st h et e s ti t e m si n t h ew e b ，b a s e dc a ta r et a i l o r e do ra d j u s t e dt oe a c h t e s t t a k e r sl a t e n tt r a i t s o r a b i l i t i e s ，( p l e a s e r e f e rt os e c t i o n 1 4f o rad e t a i l e d d i s c u s s i o n o ft h e v a i i d i t y a n d r e l i a b i l i t y ) t h e t e s tb e c o m e sm u c hm o r e 1 i n d i v i d u a l i z e d ”t h es c o r ea c h i e v e dt h r o u g ht h i s m e t h o dw i l lh a v em u c hm o r e v a l i d i t ya n dr e l i a b i l i t y 2 ! ! ! ：! 竺型曼! 翌p 竺! ! ! 垒! ! ! 生! ! ! ! ! ! ! g 1 3t h e h i s t o r y o ft h ew e b b a s e dc a t t h e h i s t o r yo f t h ew e b b a s e dc a tg e n e r a l l y f a l l si n t ot h r e e p e r i o d s ： 1 e a r l ya d a p t i v et e s t i n g p e r i o d t k a d a p t i v e t e s ti sn o tan e vi d e a m a n yi n s t i t u t i o n sh a v eu s e dap a p e r - a n d - p e n c i l f o r mo fa d a p t i v et e s t i n gf o rp l a c e m e n tp u r p o s e s ，a n dt h en e l s o nq u i c k e s ti sa p u b l i s h e de x a m p l eo f t h et e c h n i q u e ( 侯朋朋：2 0 0 2 ) s o u r c e so nt h ei n t e r n e ts h o wt h a ta l f r e db i n e ti qt e s ti st h ee a r l i e s ta d a p t i v et e s t t h i sf o r mo ft e s to r i g i n a t e di nf r a n c ea n dl a t e rd e v e l o p e di n t ot h es t a n d f o r d - b i n e ti q t e s ti ne n g l i s h s p e a k i n gc o u n t r i e s ( h t t p ：w w w n e n u e d u o n ) i nd e s i g n i n gt h ei q t e s t ， w h i c hw a sm a n i p u l a t e de n t i r e l ym a n u a l l y , a l f r e db i n e tw a sc o n c e r n e dw i t ht h e d i a g n o s i so ft h ei n d i v i d u a lc a n d i d a t e ，r a t h e rt h a nt h eg r o u p 。s ot h e r ew a s n oi s s u eo f t a i m e s sr e q u i r i n ge v e r y o n et ot a k et h es a m et e s t h er e a l i z e dt h a th ec o u l dt a i l o rt h e t e s tt ot h ei n d i v i d u a lb y o r d e r i n g t h ei t e m si nt e r m s o f d i f f i c u l t y h es t a r t e dt e s t i n gt h e c a n d i d a t ea tw h a th ed e e r n e dt ob eas u b s e to fi t e r n st a r g e t e da th i sg u e s sa tt h ei e v e i o ft h ec a n d i d a t e s a b i l i t y i ft h e c a n d i d a t e s u c c e e d e d ，b i n e tp r o c e e d e dt o g i v e s u c c e s s i v e l yh a r d e ri t e ms u b s e t su n t i lt h ec a n d i d a t ef a i l e df r e q u e n t l y ，i ft h ec a n d i d a t e f a i l e dt h ei n i t i a li t e r ns u b s e t ，t h e nb i n e tw o u l da d m i n i s t e rs u c c e s s i v e l ye a s i e ri t e m s u b s e t su n t i lt h ec a n d i d a t es u c c e e d e df r e q u e n t l y w i mt h eh e l po ft h ei n f o r m a t i o n d e r i v e df r o mt h ec a n d i d a t e sp e r f o r m a n c eo nt h et e s t ，b i n e tc o u l dm a k ea ne s t i m a t eo f t h ec a n d i d a t e sa b i l i t y b i n e t l sp r o c e d u r ew o u l dh a v eb e e n e a s yt oi m p l e m e n tw i t ha c o m p u t e r h o w e v e r ，a st h eh e l po f t h ec o m p u t e rw a sn o ta v a i l a b l e ，t h ea d a p t i v et e s ti n t h i sp e r i o dw a s q u i t eh a r dt oc a r r yo u ta n dt h u sc o n t r i b u t e dl i t t l et ot h el a r g e s e a t o t e s t 2 c o m p u t e ra d a p t i v et e s t i n g p e r i o d s i m i l a r l y , t h ec o m p u t e rh a s ，o fc o u r s e ，b e e nu s e di nl a n g u a g et e s t i n gf o ral o n g t i m es i n c ei tm a d ei t sf i r s ta p p e a r a n c ei nt h e1 9 5 0 s i t sa p p l i c a t i o ni nl a n g u a g et e s t i n g c a nb ed i v i d e di n t ot w o k i n d s ，i e ，c o m p u t e ra s s i s t e dt e s t i n g a n dc o m p u t e r a d a p t i v e t e s t i n g t h ea p p l i c a t i o no ft h ef o r m e ro n l yr e g a r d st h ec o m p u t e ra sam e d i u mo f t e s t i n g b e f o r et h ea r r i v a lo ft h e c o m p u t e r , m e t e s t t a k e r sd ot h e t e s ti na p e n a n d p e n c i lm o d e n o wt h e ys i ti nf r o n to f t h ec o m p u t e rt ot a k et h et e s t n o t h i n g h a sc h a n g e de x c e p tt h em e d i u mo rf o r mo f t e s t i n g t h el a t t e r , h o w e v e r , i sd i f f e r e n ti n t w oa s p e c t s t h ef i r s tc h a n g et a k e sp l a c ei nt h et e s t i n gm e d i u m ，t h e s e c o n da n dt h e m o s ts i g n i f i c a n tc h a n g ei si nt h ec o n c e p t i o no ft e s t i n g ，t h ec o m p u t e rn o w s e l e c t s w h i c hq u e s t i o nt h et e s t t a k e rs h o u l da n s w e ra c c o r d i n gt o t h ep e r f o r m a n c eo ft h e 3 ! ! ! ：! 苎! ! 量! 里坐! ! 垒! 塑! ! 坚! ! 型竖 t e s t - t a k e ro nt h ep r e v i o u s q u e s t i o n i tc a r lb ec a l l e da sa t a i l o r e d ”t e s t t h ea p p l i c a t i o no ft h ec o m p u t e ri n t e s t i n gh a sa p p a r e n t l yu n d e r g o n et h e s et w o s t a g e s t h em i d 一2 0 t hc e n t u r yh a sw i t n e s s e dt h eb i r t ha n d o rd e v e l o p m e n to fm o s to f t h e g u i d i n g a t t r i b u t e so fc a ti n c l u d i n gt h e p s y c h o m e t r i ct h e o r y a n dt h ei t e m r e s p o n s et h e o r y , u n i d i m e n s i o n a l i t y a n dm u l t i d i m e n s i o n a l i t y , a n dt h ei t e m p o o l f r a m e w o r k ，o nt h eo t h e rh a n d ，w i t ht h ea r r i v a lo fc h e a p e ra n dm o r ep o w e r f u l c o m p u t e r s ，r e s e a r c h e r sa n de d u c a t o r sh a v eb e c o m em o r ea n dm o r ei n t e r e s t e di nt h e t e c h n o l o g y a c c o r d i n gt od u n k e l ，i nt h e1 9 6 0 sa n d1 9 7 0 s ，t h eu s d e p a r t m e n to fd e f e n s e ， c o n v i n c e do ft h ep o t e n t i a lb e n e f i t so f a d a p t i v et e s t i n g ，s u p p o r t e de x t e n s i v et h e o r e t i c a l r e s e a r c hi nc o m p u t e r a d a p t i v et e s t i n g ( c a t ) a n dt h ei t e mr e s p o n s et h e o r y ( i r t ) i nt h el a t e19 8 0 s ，c a tf i n a l l ym o v e do u to ft h er e a l mo ft h e o r e t i c a lr e s e a