（外国语言学及应用语言学专业论文）我校机助口语考试效度研究.pdf

内容摘要 近年来，英语口语教学受到普遍关注。同时，社会也需要能够在不同场合用 英语进行交流的人才。因此，为了适应当前语言教学和社会的需求，我校于2 0 0 4 年开始组织了旨在衡量英语口语能力以一年级非英语专业学生为测试对象的计 算机辅助英语口语考试。机助口语考试已经在我校组织过两次。为使该考试能够 更好地反映我校学生的口语能力，我们设立此课题对其进行深入地研究。 本文对于信度和效度的内容及关系、口语考试的不同类型及关系、以及评分 要素等从语言学的角度进行了阐述，通过问卷调查和测试详细地分析了我校机助 口语测试的效度、信度、可行性和反拨效应。我校机助口语考试属于半直接型口 试，因此，我们对此类型的口语考试与英语口语面试( 直接型口试) 的关系进行 了初步探讨。 数据分析及问卷调查的结果表明，我校机助口语考试具有一定的效度、信度 和可行性，并对口语教学和口语学习有良好的促进作用，在评分和实施方面比面 试型口试更具有可行性。但在某些方面仍需要改进，比如，应该向考生提供考前 培训；在口语考试的组成部分中可以考虑增加考生之间的互动；评分方面可以考 虑每份试卷有两个评分员进行评分，以增加评分的效度。 关键词：机助口语考试，效度，信度，可行性，反拨效应 a b s t r a c t i nr e c e n ty e a r s ，m o r ee m p h a s i si nu n i v e r s i t i e si nc h i n ah a sb e e np l a c e do nt h e t e a c h i n go f o r a le n g l i s h t h es o c i e t yn e e d sm o r eu n i v e r s i t yg r a d u a t e sw i t ht h ea b i l i t y t ot a k ep a r ti no r a li n t e r a c t i o no fv a r i o u sk i n d si ne n g l i s h t h e r e f o r e ，i no r d e rt o c o n f o r mt ot h ec u r r e n tr e q u i r e m e n to ft h el a n g u a g et e a c h i n ga n dt h es o c i e t y , i n2 0 0 4 o u r u n i v e r s i t yd e c i d e dt oo r g a n i z ec o e t ( c o m p n t e r - m e d i a t e do r a le n g l i s ht e s t ) ，a s y l l a b u s o r i e n t e de n g l i s ho r a lt e s tw h i c hi si n t e n d e dt oe v a l u a t et h eo r a le n g l i s h p r o f i c i e n c yo fn o n e n g l i s hm a j o r si no u ru n i v e r s i t y t h ec o e th a sb e e nc a r r i e do u t t w i c es of a ra n di ti sl l i g ht i m et h a tw ec o n d u c t e das t u d yt of i n do u tt 0w h a te x t e n tt h e c o e ti sv a l i d ，r e l i a b l ea n dp r a c t i c a l b ya n a l y z i n go u rs u b j e c t s s c o r e sa n dc o n d u c t i n gt h eq u e s t i o n n a i r es u r v e y sb y m e a n so fs p s s ( 11 0v e r s i o n ) ，w es t u d yi ng r e a td e t a i lt h ec o e to ni t sv a l i d i t y , r e l i a b i l i t y , p r a c t i c a l i t y 嬲w e l l 嬲b a c k w a s he f f e c t s s i n c et h ec o e ti sak i n do f s e m i - - d i r e c to r a lt e s t , t h ec o m p a r a b i l i t yb e t w e e nc o e ta n do p i ( f a c e - t o - - f a c eo r a l p r o f i c i e n c yi n t e r v i e w ) w h i c hi sad i r e c t o r a lt e s ti si n v e s t i g a t e d t h es t u d yr e v e a l st h a tc o e t , b e i n gr e l i a b l ea n dv a l i d ，i sm u c hm o r ep r a c t i c a li n s c o r i n ga n da d m i n i s t e r i n gt h a no p i t h ec o e tp r o d u c e sp o s i t i v eb a c k w a s he f f e c t s u p o nt e a c h e r sa n dl e a r n e r s b u ts t i l l i tn e e d ss o m ei m p r o v e m e n t a st h e r ea r e3 0 0 0 s t u d e n t st a k i n gt h et e s te v e r yt i m e w et h i n ki ti sw o r t h w h i l et oa d o p tc o e ti no u r u n i v e r s i t yt oe v a l u a t et h es t u d e n t s o r a la b i l i t y b u tw ea l s os u g g e s tt h a tb e f o r ec o e t i sf o r m a l l yc o n d u c t e d ，i ti sb e t t e rt oe a r l yo u tap r e - t e s tt r a i n i n gt oe n s u r et h a te a c h c a n d i d a t ei sf a m i l i a rw i t ht h et e s t t h e r e f o r e ，t h et e s tw i l lm e a s u r em o r ee f f e c t i v e l y w h a ti ti si n t e n d e dt om e a s u r e a n di ti sq 妇d e s i r a b l et oa d dt h ef o r mo fr o l e - p l a yi n t h et e s tt oe n a b l et h ec a n d i d a t e sh a v ei n t e r a c t i o nw h i l et a k i n gt h ec o e t k e yw o r d s ：c o e t , v a l i d i t y , r e l i a b i l i t y , p r a c t i c a l i t y , b a c k w a s he f f e c t s 东华大学学位论文原创性声明 本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师的 指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包 含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对 所写的内容负责，并完全意识到本声明的法律结果由本人承担。 学位论文作者签名：带矛。7 日期： j 叫年，月，二日 东华大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有 关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 保密口t 在年解密后适用本版权书。 本学位论文属于， 不保密日 学位论文作者签名： 澎矛1 日期：力菇年7 月如日 指导教师签名：妻髟孳 日期：j 年f 月幢日 a c k n o w l e d g e m e n t s 1w o u l dl i k et oe x p r e s sm ys i n c e r eg r a t i w d et ot h o s ew h oh a v ec o n t r i b u t e d g r e a t l yi nv a r i o u sw a y s t ot h ec o m p l e t i o no f t h i st h e s i s 1w o u l dl i k et oe x p r e s sm ym o s ts i n c e r et h a n k st om ys u p e r v i s o r , p r o f e s s o rl i z h i z h a n g , w h oh a sd e v o t e dag r e a ta m o u n t o f h e rp r e c i o u st i m ea n do f f e r e dm em u c h v a l u a b l eh e l pi nw r i t i n ga n dr e w r i t i n go ft h i st h e s i s if e e lq u i t ei n d e b t e dt oh e r e n d l e s sp a t i e n c ea n de n l i g h t e n i n gi n s t r u c t i o n s m ys i n c e r et h a n k sa l s og ot oa l lt h et e a c h e r si no u ru n i v e r s i t yw h oh a v ep r o v i d e d t h e i rp r e c i o u so p i n i o n sa n da d v i c ea n da l lt h es t u d e n t sw h o s ep e r f o r m a n c eh a so f f e r e d m ep r e c i s es o u r c eo fd a t af o rt h ee x p e r i m e n t , b o t ho fw h i c hh a v ec o n t r i b u t e dg r e a t l y t om yt h e s i s m yd e e pg r a t i t u d ea l s og o e st om y c l a s s m a t em i s sl ij i ef o rh e rk i n dc o o p e r a t i o n a n d s u p p o r ti n t h es t u d y , a n dm yb o y f r i e n d ， f o r h i sc o n s t a n t s u p p o r t a n d e n c o u r a g e m e n t , p a r t i c u l a r l y h e l p i n g m e w i t h t h e i m p l i c a t i o n o f s p s s f i n a l l y , m yt h a n k sg ot om yf e l l o wc l a s s m a t e s w h og a v em ev a l u a b l e s u g g e s t i o n sa n dc o n s t a u ts u p p o r ti nt h ep a s tt w oa n d a h a l f y e a r s c h a p t e ro n e i n t r o d u c t i o n 1 1r a t i o n a l eo ft h es t u d y c o m m u n i c a t i v el a n g u a g et e a c h i n gi sb e c o m i n gi n c r e a s i n g l yi m p o r t a n tn o w i t h a sb e e ns os i n c eh y m e si n t r o d u c e d c o m m u n i c a t i v ec o m p e t e n c e i n t ol a n g u a g e t e a c h i n gi nt h e1 9 7 0 s i nt h e2 0 0 3r e v i s e de d i t i o no ft h en a t i o n a lc o l l e g ee n g l i s h s y l l a b u s ，t h e r ei sa r to b v i o u sc h a n g eo ft h eg o a l so fc o l l e g ee n g l i s ht e a c h i n ga n d l e a r n i n gf r o mf o c i l s i n go n r e a d i n ga b i l i t y ”t o “o v e r a l la b i l i t yt ou s ee n g l i s h ， e s p e c i a l l yt h es p e a k i n ga b i l i t y t h e r e f o r e ，i ns e p t e m b e r2 0 0 4o u ru n i v e r s i t yb e g a nt o o f f e r 强o r a le n g l i s he o b r 船s t u d i oc l a s s r o o mt ot h ef r e s h m e na n dd e c i d e dt oa d o p t t h ec o m p u t e r - m e d i a t e do r a le n g l i s ht e s t ( c o e t ) f o ri t sa s s e s s m e n t t h ec o e ti n o u ru n i v e r s i t yc o n f o r m st ot h ec u r r e n tn e e d so ft h es o c i e t ya n dl a n g u a g et e a c h i n gi n t h a ti tn o to n l ys e r v e st oa s s e s st h es t u d e n t s o r a lp e r f o r m a n c e ，b u ta l s og u i d e sa n d s t i m u l a t e so r a le n g l i s ht e a c h i n g w h a t sm o r e , i ti sa l s ob e n e f i c i a lf o rt h es t u d e n t st o p r o m o t et h e i re n g l i s hl e a r n i n g ，t h e i ro r a le n g l i s hl e a r n i n gi np a r t i c u l a r t h et e s th a s b e e na d m i n i s t e r e dt w i c ei no u ru n i v e r s i t ys of a r c o n s e q u e n t l y , i ti so fp r o f o u n d s i g n i f i c a n c et oe x a m i n et h ev a l i d a t i o no f t h ec o e ti no u ru n i v e r s i t ya n df i n do u th o w m u c hi th a si n f l u e n c e do r a le n g l i s hl e a r n i n ga n dt e a c h i n g w i t ht h e s et w oa i m si nm i n d ，t h ep r e s e n ts t u d yw i l la d d r e s st h ef o l l o w i n g r e s e a r c hq u e s t i o n s ： 1 w h a td ot h et e s t - t a k e r sa n dt h er a t e r st l l i i l l 【o f t h ec o e t ? 2 d o e st h et e s th a v eas i g n i f i c a n tc o v e r a g eo f t h el a n g u a g ef u n c t i o n ss p e c i f i e di n i t st e s ts p e c i f i c a t i o n s ? 3 t 0w h a te x t e n ti st h ec o e tv a l i da n dr e l i a b l e ? 4 i si tp r a c t i c a lt oa d m i n i s t e rt h ec o e ti no i l l u n i v e r s i t y ? 5 d o e st h ec o e th a v ep o s i t i v eo rn e g a t i v ee f f e c to i lo r a le n g l i s ht e a c h i n ga n d l e a r n i n g ? 6 w h a tr e m a i n st ob ei m p r o v e da b o u tt h ec o e t ? 7 聃，l l a ta r et h ee x a m i n e e s a t t i t u d e st o w a r d st h ec o e ta n dt h eo p i ? 1 2c u r r e n to r a lt e s t i n gi nc h i n e s eu n i v e r s i t i e s h i s t o r i c a l l y , t h ec h i n e s ee d u c a t i o n a ls y s t e ma saw h o l ee n c o u r a g e sw r i r e n e n g l i s ht e s tr a t h e rt h a ns p o k e ne n g l i s ht e s t n a t i o n a lc o l l e g ee n g l i s ht e s t ( c e t ) ， a d m i n i s t e r e db yt h en a t i o n a lc o l l e g ee n g l i s ht e s t i n gc o m m i t t e ei nc h i n a , h a s d e v e l o p e dr a p i d l ya n dp l a y e da ni m p o r t a n tr o l ei nt h es t u d e n t s l e a r n i n ge n g l i s hi n m o d e ms o c i e t ys i n c ei t sd e b u ti n1 9 8 7 h o w e v e r , i tw a so v e rt e ny e a r sl a t e ri n n o v e m b e r1 9 9 9t h a tc e ts p o k e ne n g l i s ht e s t ( c e t - s e t ) w a so f f i c i a l l y a d m i n i s t e r e do n an a t i o n a ls c a l e b e c a u s eo fl i m i t e dr e s o u r c e s i ti ss t i l ln o ta v a i l a b l e t 0a l lc a n d i d a t e s t oa p p l y , t h ec a n d i d a t em u s th a v ee i t h e rp a s s e dc e t - 4w i t has c o r e a b o v e8 0o rp a s s e dc e t 0 6w i t has c o r ea b o v e7 5 t h eo r a lt e s tf o re n g l i s hm a j o r sb e g a ni n1 9 9 4 y e tt h er e l e v a n ts t u d yi n d i c a t e s t h a tt h ep r e s e n ts i t u a t i o na b o u to r a le n g l i s ha m o n ge n g l i s hm a j o r si sh a r d l ys a t i s f y i n g t h eg e n e r a lo r a lp r o f i c i e n c yo fe n g l i s hm a j o r sa tg r a d et w oc a nh a r d l ym e e tt h e r e q u i r e m e n t ss t i p u l a t e db yt h es y l l a b u s 如re n g l i s hm a j o r s ( w e nq i u f a n g ，1 9 9 9 ) i ti st r u et h a ti nt h ep a s tc h i n e s es t u d e n t sw e r es u b j e c t e dt ot e a c h e r - c e n t e r e d e d u c a t i o na n dc r a m m i n gt e a c h i n gi n s t e a do f t h i n k i n ga n dw o r k i n gi n d e p e n d e n t l ya n d c r e a t i v e l y p r i o r i t yw a sg i v e nt or e a d i n gc o m p r e h e n s i o na n dt r a n s l a t i o na n dt h e s t u d e n t sw e r er e l u c t a n tt ot a l ka n dw e r ei n c l i n e dt or e m a i np a s s i v ei nc l a s s m a n y s t u d e n t sf m di td i f f i c u l tt oe x p r e s st h e m s e l v e sf r e e l yi ne n g l i s hd u et oa n x i e t yo r v o c a b u l a r yb a r r i e r s o nt h eo t h e rh a n d ，i nc o l l e g ee n g l i s hc l a s s e s ，t h et e a c h e r su s u a l l y d o n ts e ta s i d ee n o u g ht i m ef o rs p o k e ne n g l i s ht e a c h i n g i nm o s tu n i v e r s i t i e s ，t h e r e a r en oo r a le n g l i s ht e s t s i no t h e ru n i v e r s i t i e sw h e r eo r a le n g l i s ht e s t sa r eo f t e n a d m i n i s t e r e d ，t h e ya l es c o r e di n d i v i d u a l l yb yt h et e a c h e r , n o ts y s t e m a t i c a l l yb yt h e r e l e v a n to r g a n i z a t i o n 1 3t h eu r g e n tn e e df o rt e s to fs p o k e ne n g l i s h w i t hc h i n a sc u r r e n to p e n - d o o rp o l i c ya n dt h er a p i dd e v e l o p m e n to ft h e 2 e c o n o m yf o rt h ep a s td e c a d e s ，t h es o c i e t yn e e d sl a r g en u m b e r so fp e o p l ew h oc a l l c o m m u n i c a t ee f f e c t i v e l yi no r a le n g l i s h m o r ea n dm o r es t u d e n t sh a v en o wr e a l i z e d t h ei m p o r t a n c eo f h a v i n gag o o dc o m m a n do fo r a le n g l i s hi nd e a l i n gw i t hav a r i e t yo f c h a l l e n g i n gt a s k s ，a s al a n g u a g el i v e so n l yw h e ni ti ss p o k e n ( y a l d e n , 1 9 8 7 ，p 5 3 ) t h en e e df o rc o m m u n i c a t i o nh a sb e c o m eu r g e n t ；c o n s e q u e n t l y , e n g l i s ht e a c h i n gi s d i r e c t e dm o r et o w a r d ss p e a k i n gs k i l l s y e t , t h e r ei sn os h o r t c u ti nt h ei m p r o v e m e n to f s p o k e ne n g l i s h f o rt h es t u d e n t s ，t h e ys h o u l dp r a c t i c eo r a le n g l i s ha sm u c ha st h e y c a n f o rt h et e a c h e r s ，t h e ys h o u l da d o p tt h em o s ta p p r o p r i a t et e a c h i n gm e t h o d o l o g yt o n l a k ec l a s s r o o ma c t i v i t i e s1 d _ o f es u c c e s s f u lf o rt h e i rs t u d e n t st o p r a c t i c es p o k e n e n g l i s h e n g l i s hi sal a n g u a g et o o lu s e df o rh u m a nc o m m u n i c a t i o na n ds p e a k i n gi so n eo f t h e f i v eb a s i ce n g l i s hs k i l l s t oe v a l u a t eas t u d e n t sl a n g u a g ep r o f i c i e n c y , i ti s n e c e s s a r yt 0t e s th i s h e rs p e a k i n gb e s i d e st h en o r m a lw r i t t e nt e s t i na d d i t i o n , s p o k 吼 e n g l i s ht e s t sc a np r o m o t es t u d e n t s l e a r n i n go ft h e i ro r a le n g l i s ha n ds t r e n g t h e nt h e i r l a n g u a g es k i l l s t oh a v eag o o dc o m m a n do fe n g l i s h , f l u e n to r a le n g l i s hi np a r t i c u l a r , i sr e g a r d e da so n eo ft h eq u a l i f i c a t i o n sf o ras m d e n ti nt h e2 1 “c e n t u r y i nt h i ss e n s e ， t e s t i n gt h eo r a le n g l i s hi si nu r g e n tn e e d h o w e v e r , t e s t i n gs t u d e n t s s p e a k i n ga b i l i t yi nas y s t e m a t i ca n dr e a l i s t i cw a y i sb y n om e a n sa l le a s yt a s k a su n d e r h i u ( 1 9 8 7 ) s t a t e st h a to r a lt e s t sc a no f t e nb em o l e d i f f i c u l tt od e s i g n ，a d m i n i s t e ra n dm a r k ，c o m p a r e d 州t 1 1a w r i t t e nm u l t i p l e - c h o i c et e s t t h a ti su s u a l l yh e l di ns c h e d u l e dt i m ei na no r d i n a r yc l a s s r o o m as 虹1 1t h a ti sn o t t e s t e di sl i k e l yt ob e c o m eas k i l ln e g l e c t e di nt e a c h i n ga n dl e a r n i n g o r a lt e s t ss h o u l d n o tb et r e a t e di nt h es a m ew a y 嬲t h et e s t i n go fo t h e rl a n g u a g es k i l l s t h e r es h o u l db e a ni n d e p e n d e n tt e s ts y s t e mt oe x a m i n eo r a le n g l i s hi nt h eu n i v e r s i t i e s a n dt h et e s t d e s i g n e r s ，a d m i n i s t r a t o r sa n dt e s t e r sm u s tb ee x t r e m e l yc a r e f u lt om a k et h eo r a lt e s t s u c c e s s f u l ，t a k i n gt h eb a c k w a s he f f e c t so f o r a lt e s t so nt e a c h i n gi n t oc o n s i d e r a t i o n 1 4t h eo r g a n i z a t i o no ft h et h e s i s t h i st h e s i sc o n s i s t so f s i xc h a p t e r s c h a p t e ro n ei sab r i e f i n t r o d u c t i o n , i n c l u d i n g 型! ! 型! ! 塾坐堕些垡塑坚型型q 型! ! 盟坠旦壁堕q 坚! 堕! 墅堕 t h er a t i o n a l eo ft h et h e s i s ，ac l o s el o o ka tt h ec u r r e n ts i t u a t i o na b o u tt e s t i n ga n d t e a c h i n go r a le n g l i s hi nc h i n a ，t h eu r g e n tn e e df o rt e s to fs p o k e ne n g l i s h ，a n dt h e o r g a n i z a t i o no f t h et h e s i s c h a p t e rt w oi sal i t e r a t u r er e v i e w i nt h i sc h a p t e r , f i r s t l y , t h ec r i t e r i ao fag o o do r a lt e s ta l ed i s c u s s e d ；a n dt h e ni tf o c u s e so nt y p e so fo r a lt e s t s a n dt h ec o m p a r i s o nb e t w e e nd i r e c ta n ds e m i d i r e c tt e s t s ；l a s t l y , t h es c o r i n gm e t h o d s a l ei n t r o d u c e d c h a p t e rt h r e ei sa i le l a b o r a t ei n t r o d u c t i o no ft h ec o m p u t e r - m e d i a t e d o r a le n g l i s ht e s t ( c o e t ) i no u ru n i v e r s i t y c h a p t e rf o u r , t h em a i np a r to f t h et h e s i s , i sd e v o t e dt ot h ei n v e s t i g a t i o no f t h ev a l i d i t y , r e l i a b i l i t y , p r a c t i c a l i t ya n db a c k w a s ho f t h ec o e t , w h i c ha r ca n a l y z e di nd e t a i lb ya d o p t i n gq u e s t i o n n a i r e sa n dd a t aa n a l y s i s c h a p t e rf i v ef o c u s e so nt h ec o m p a r i s o nb e t w e e nf a c e - t o f a c eo p i ( o r a lp r o f i c i e n c y i n t e r v i e w ) a n dt h ec o e t i no u ru n i v e r s i t y i nt h i sc h a p t e r , s t u d e n t s d i f f e r e n ta t t i t u d e s t o w a r d st h eo p ia n dt h ec o e ta r ef i r s t l yf o u n do u ta n dg r e a te f f o r t sa r ee x e r t e dt o i n v e s t i g a t et ow h a te x t e n tt h eo p ia n dt h ec o e t a l er e l a t e d t h i st h e s i sc o m c st oi t s c o n c l u s i o ni nt h el a s tc h a p t e r , w h i c hi sa b o u tt ow h a te x t e n tt h es p o k e ne n g l i s ht e s ti s v a l i d ，r e l i a b l ea n dp r a c t i c a l a n dr e c o m m e n d a t i o n sa n dl i m i t a t i o n so ft h es t u d ya l e p r o v i d e d 4 c h a p t e r t w ol i t e r a t u r er e v i e w 2 1 c r i t e r i ao f0 i a it e s t s t h ec d t e r i ab yw h i c ho r a lt e s t sc 觚b ej u d g e da 北t h o s ew h i c hc 姐b ea p p l i e dt o a l ll a n g u a g et e s t s ，i e ，v a l i d i t y , r e l i a b i l i t ya n dp r a c t i c a l i t y ( f u l c h e r , 1 9 9 7 ) w h e n h e a t o n ( 2 0 0 0 ) s t a t e dt h ec r i t e r i ao ft e s t s ，h et o o kt h eb a c k w a s he f f e c t si n t o c o n s i d e r a t i o n s o ，i nt h i sc h a p t e r , w ew i l le n d e a v o rt od i s c u s sv a l i d i t y , r e l i a b i l i t y , p r a c t i c a l i t ya n db a c k w a s he f f e c t s 2 1 1 v a l i d i t y a c c o r d i n gt ob a c h m a n ( 1 9 9 9 ，p 2 5 ) ，v a l i d i t yi st h em o s ti m p o r t a n tq u a l i t yo f t e s ti n t e r p r e t a t i o n b r i e f l y , v a l i d i t yi sc o n c e r n e dw i t h i fat e s tm e a s u r e sa c c u r a t e l y w h a ti ti si n t e n d e dt om e a s u r e ”( h u g h e s ，2 0 0 0 ，p 2 2 ) t h ev a l i d i t yo fat e s ti st